taoki/Fugaku-LLM-13B-instruct-qlora-jmultiwoz-amenokaku-alpaca_jp_python

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained(
  "taoki/Fugaku-LLM-13B-instruct-qlora-jmultiwoz-amenokaku-alpaca_jp_python"
)
model = AutoModelForCausalLM.from_pretrained(
  "taoki/Fugaku-LLM-13B-instruct-qlora-jmultiwoz-amenokaku-alpaca_jp_python"
)

if torch.cuda.is_available():
    model = model.to("cuda")

prompt="""以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。

### 指示:
OpenCVを用いて定点カメラから画像を保存するコードを示してください。
### 応答:
"""
input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
out = tokenizer.decode(tokens[0], skip_special_tokens=False)
print(out)

以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。

### 指示:
OpenCVを用いて定点カメラから画像を保存するコードを示してください。
### 応答: