lemonbucket/yuwen-v3
2494
yuwen-v3: 语文阅读理解专项微调模型 (合并完整版 + GGUF)
📌 更新日期：2026 年 7 月 11 日
本次更新内容：
为什么要更新？
此前仓库仅有 F32 / Q4 / Q8 三个量化版本，缺少 5-bit 精度选项；且 GGUF 文件未关闭思考模式，部署后模型可能输出异常思维链（<think> 标签内容混乱），导致回答质量严重下降。本次更新解决了这两个核心问题，并补全了完整的四版本评测对比数据。
模型简介
本仓库是 yuwen-v3 的合并后完整模型（LoRA 权重已融合进基座模型），基于 [Qwen/Qwen3.5-0.8B](https://huggingface.co/Qwen/Qwen3.5-0.8B) 进行 LoRA 微调后合并。
同时包含 GGUF 格式文件（F32 全精度 + Q4KM 量化 + Q5KM 量化 + Q8_0 量化），方便通过 Ollama / llama.cpp 部署。
如果只想下载 LoRA 增量权重，请前往 lemonbucket/yuwen-v3-lora
重要：本模型已修改 chat_template，默认关闭思考模式。所有 GGUF 文件均已通过二进制补丁从根源关闭思考。基座模型
微调配置
仓库文件
Transformers 格式
GGUF 格式（均已关闭思考模式）
Ollama 部署文件
其他
评测结果 (2026 年高考语文现代文阅读)
完整评测报告（含测试题目、各模型逐题回答及评分明细）已上传至本仓库的 `yuwen测评/` 目录。
测试标准
排名总览
† yuwen-assistant 并非微调模型，而是通过提示词工程（Prompt Engineering）在 Qwen3-0.6B 基础上实现的语文问答助手，未进行任何权重微调，在此作为对比基准参与评测。关键发现
- yuwen-v3-q4 一骑绝尘：选择题 5/5 全对，总分 47 分远超第二名，是唯一能在文学类文本中准确辨析列文与聂赫留朵夫差异的模型。
- 量化即正则化：Q4 量化的"压缩效应"最显著地抑制了过度推理；Q8 部分缓解了过度推理，选择题从 1/5 提升到 3/5。
- Q5 与 Q8 特长完全互补：Q5 的 6 维度总分（28 分）略高于 Q8（27 分），但两者强项完全不同——
- Q5 在文学常识题（Q6）全对（常识储备 6/10）
- Q8 在信息类文本题（Q1/Q2）全对
- Q5 选择题对错模式：Q3✅ Q6✅ Q7✅ / Q1❌ Q2❌（文学类全对，信息类全错）
- Q8 选择题对错模式：Q1✅ Q2✅ Q7✅ / Q3❌ Q6❌（信息类全对，文学类全错）
- 文学常识是普遍短板：11 个模型中仅
v3-q4、assistant和v3-q5能在 Q6 中正确识别"忏悔感"的错误。v3-q5在此题的辨析尤为精彩，准确区分了列文的"情感共鸣/劳动愉悦"与聂赫留朵夫的"道德忏悔/道德觉醒"。
完整评测报告（含逐题评分、各模型详细回答）请见 `yuwen测评/2026测试结果汇总.md`。
V3 各量化版本对比
Q5 vs Q8 详细对比
选择建议：侧重文学类文本 / 文学常识选 Q5；侧重信息类文本阅读选 Q8。两者总分接近，特长互补。日常使用仍首推 Q4（全面碾压所有版本）。
推荐选择
Ollama 部署
# F32 全精度版
ollama create yuwen-v3 -f Modelfile.f32
ollama run yuwen-v3
# Q4 量化版（推荐日常使用）
ollama create yuwen-v3-q4 -f Modelfile.q4
ollama run yuwen-v3-q4
# Q5 量化版（文学常识强 / 精度平衡）
ollama create yuwen-v3-q5 -f Modelfile.q5_k_m
ollama run yuwen-v3-q5
# Q8 量化版（信息类文本 / 平衡选择）
ollama create yuwen-v3-q8 -f Modelfile.q8_0
ollama run yuwen-v3-q8Python（Transformers 直接加载）
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# 加载合并后的完整模型（无需额外加载 LoRA）
model = AutoModelForCausalLM.from_pretrained(
"lemonbucket/yuwen-v3",
torch_dtype=torch.float32,
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("lemonbucket/yuwen-v3")
# 推理
messages = [
{"role": "system", "content": "你是yuwen-v3，由柠檬桶基于Qwen3.5-0.8B微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。"},
{"role": "user", "content": "请分析《荷塘月色》中通感手法的运用。"},
]
text = tokenizer.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=1024,
temperature=0.3,
top_k=20,
top_p=0.85,
)
print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))系统提示词
你是 yuwen-v3，由柠檬桶基于 Qwen3.5-0.8B 微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。
关于思考模式 (Thinking Mode)
重要：由于微调时训练数据中未包含思维链 (<think>) 相关内容，模型的思维链输出存在异常。强烈推荐关闭思考模式使用。 所有 GGUF 文件均已通过二进制补丁从根源关闭思考模式（将chat_template中enable_thinking条件硬编码为false），无需用户手动配置，开箱即用。 如需了解补丁原理或手动操作，请参阅 `关闭模型思考模式指南.md`。
许可证
Apache 2.0（继承自 Qwen3.5 基座模型）
使用时需同时遵守 Apache 2.0 协议 及 Qwen 模型许可条款。
关于作者
我是刚接触模型微调的新手，初次使用 Hugging Face 平台。如果仓库存在不规范之处，还请通过邮件反馈：575244421@qq.com，不胜感激！
致谢
- 基座模型：Qwen 系列 by Alibaba Qwen Team
- 微调框架：HuggingFace Transformers + PEFT
- 训练者：柠檬桶 (lemonbucket)