Modelpublic

bashanyeyu/olmo3-190m-zh-full-continue

sourceHugging Faceapache-2.0updated 4mo agoView on Hugging Face

0likes4downloads

Model Card

bashanyeyu/olmo3-190m-zh-full-continue

持续预训练版本：基于 bashanyeyu/olmo3-190m-zh-full，在 cmz1024/llm101-olmo3-zh-demo-data/continue 数据上继续训练。

训练配置

—数据：cmz1024/llm101-olmo3-zh-demo-data/continue/full_v31.bin
—LR：2e-4（低 LR 防止灾难性遗忘）
—Warmup：10%

用法

python

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("bashanyeyu/olmo3-190m-zh-full-continue")
tok = AutoTokenizer.from_pretrained("bashanyeyu/olmo3-190m-zh-full-continue")