lemonbucket/yuwen-v3-lora
111
yuwen-v3-lora: 语文阅读理解专项微调 LoRA 适配器
模型简介
本仓库是 yuwen-v3 的 LoRA 适配器权重，基于 [Qwen/Qwen3.5-0.8B](https://huggingface.co/Qwen/Qwen3.5-0.8B) 进行 LoRA 微调，专为语文阅读理解答题场景优化。
合并后的完整模型请前往 lemonbucket/yuwen-v3
基座模型
LoRA 微调配置
目标模块覆盖范围: Attention 全部 4 个投影 (q/k/v/oproj) + MLP 全部 3 个投影 (gate/up/downproj)，共 7 个线性层。
训练过程
- 最佳检查点: Step 90 (Epoch ~2), eval_loss = 0.2705
- 最终训练 Loss: ~0.015
- 训练耗时: ~4.76 小时 (17151 秒)
- 训练框架: HuggingFace Transformers + PEFT
注: 从 Step 90 后验证损失开始上升 (0.28→0.30→0.32)，说明第 2 个 Epoch 后开始过拟合。
加载方式
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
# 加载基座模型
base_model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3.5-0.8B",
torch_dtype="auto",
trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-0.8B", trust_remote_code=True)
# 加载 LoRA 适配器
model = PeftModel.from_pretrained(base_model, "lemonbucket/yuwen-v3-lora")
# 推理
messages = [
{"role": "system", "content": "你是yuwen-v3，由柠檬桶基于Qwen3.5-0.8B微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。"},
{"role": "user", "content": "请分析《荷塘月色》中通感手法的运用。"},
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=1024, temperature=0.3, top_k=20, top_p=0.85)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))许可证
Apache 2.0（继承自 Qwen3.5 基座模型）
致谢
- 基座模型: Qwen/Qwen3.5-0.8B by Alibaba Qwen Team
- 微调框架: HuggingFace Transformers + PEFT
- 训练者: 柠檬桶 (lemonbucket)