Mori-kamiyama/sarashina-13B-finetuned-v2

Sarashina2-13b-finetuned-v1 モデルカード 🧮📘

日本語と英語のバイリンガル言語モデルで、数学データセットからランダムに選んだ100サンプルでファインチューニングされています。 ベースは sbintuitions/sarashina2-13b で、unsloth、trl、sft を用いて学習されています。

モデルの詳細

説明

🧠 日本語 🇯🇵 と英語 🇺🇸 の両方で、数学問題の解決や技術的な質問への回答に対応できるファインチューニング済みのトランスフォーマーモデルです。

• —ベースモデル： sbintuitions/sarashina2-13b
• —ライセンス： MIT
• —対応言語： 日本語、英語
• —モデルタイプ： トランスフォーマー（Causal LM）

制限事項

⚠️ 既知の制限事項：

• —不正確または偏った回答を生成する可能性があります
• —説明を事実に基づかず作り出す（ハルシネーション）可能性があります

🔍 重要な出力は常に検証してください。

利用方法

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
import torch

model_id = "Mori-kamiyama/sarashina-13B-finetuned-v2" 
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True
)

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(pipe("9.9と9.11だとどちらが大きい？", max_new_tokens=50)[0]["generated_text"])

学習方法

🧮 以下のデータセットからランダムに選んだ12000サンプルを用いてファインチューニング：

• —elyza/JaMARD（日本語の命令チューニング）
• —EleutherAI/hendrycks_math（数学的推論）

アーキテクチャ

• —トランスフォーマー（Causal LM）
• —TRL + Unsloth を用いてファインチューニング