Elizezen/Hameln-japanese-mistral-7B-GPTQ

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Elizezen/Hameln-japanese-mistral-7B")
model = AutoModelForCausalLM.from_pretrained(
  "Elizezen/Hameln-japanese-mistral-7B",
  torch_dtype="auto",
)
model.eval()

if torch.cuda.is_available():
    model = model.to("cuda")

input_ids = tokenizer.encode(
    "むかしむかし、あるところに、おじいさんとおばあさんが住んでいました。 おじいさんは山へ柴刈りに、",
    add_special_tokens=True, 
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=512,
    temperature=1,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0][input_ids.shape[1]:], skip_special_tokens=True).strip()
print(out)

"""
output example:
むかしむかし、あるところに、おじいさんとおばあさんが住んでいました。 おじいさんは山へ柴刈りに、おばあさんは田んぼの稲の手伝いをするなど、二人で力を合わせて楽しく暮らしていました。
ある日のこと、その地方一帯に大きな台風がやって来ました。強風に飛ばされた木や、家屋などが次々と倒れる中、幸いにもおじいさんとおばあさんの住んでいた村は無事でした。
しかし、近隣の小さな村では被害が出ていました。家屋は全壊、農作物は荒らされ、何より多くの命が失われていました。
「可哀想に……」
おばあさんは心を痛め、神様に祈りを捧げ続けました。
「天上の神様！どうか、私達人間を守って下さい！」
おばあさんの祈りが通じたのか、台風は急速に勢力を落とし、被害は最小限の内に治まりました。
"""