Modelpublic

miaota/olmo3-190m-zh-full-sft

sourceHugging Faceapache-2.0updated 4mo agoView on Hugging Face

0likes5downloads

Model Card

miaota/olmo3-190m-zh-full-sft

SFT（有监督微调）版本：基于 miaota/olmo3-190m-zh-full-continue，使用对话格式数据进行微调，学习指令遵循能力。

数据来源

—训练数据：cmz1024/llm101-olmo3-zh-demo-data（来自 https://modelscope.cn/models/gongjy）
—原始数据集：sftt2tmini.jsonl

训练配置

—LR：5e-05（低 LR 避免灾难性遗忘）
—Warmup：5.0%
—Max Seq Length：2048

用法

python

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("miaota/olmo3-190m-zh-full-sft")
tok = AutoTokenizer.from_pretrained("miaota/olmo3-190m-zh-full-sft")