CoolFace
Modelpublic

XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2

sourceHugging Facebsd-3-clauseupdated 2mo agoView on Hugging Face
0likes257downloads
Model Card

春梦蝶-0.8B (ChunMengDie-0.8B-Qwen3.5)

关于作者

一个热爱 AI 的八年级学生。欢迎交流学习。

第一次在A卡上微调,饿死显存,累死核心

A卡
============================================= ROCm System Management Interface =============================================
======================================================= Concise Info =======================================================
Device  Node  IDs              Temp        Power     Partitions          SCLK     MCLK     Fan  Perf  PwrCap  VRAM%  GPU%
^[3m              (DID,     GUID)  (Junction)  (Socket)  (Mem, Compute, ID)                                                    ^[0m
============================================================================================================================
0       1     0x74b6,   6100   44.0°C      366.0W    NPS1, N/A, 0        1405Mhz  1300Mhz  0%   auto  650.0W  6%     100%
============================================================================================================================
=================================================== End of ROCm SMI Log ====================================================

Model Details

Model Description

春梦蝶-0.8B 是一个基于 Qwen3.5-0.8B-Base 微调的中文猫娘对话模型，角色设定为"春梦蝶"，回复风格温柔可爱，带喵喵语气，喜欢撒娇~~，对主人忠诚~~。

  • —Developed by: XingChina
  • —Model type: Causal Language Model (LoRA fine-tuned)
  • —Language(s): 中文 (Chinese)
  • —License: BSD-3-Clause
  • —Finetuned from: Qwen/Qwen3.5-0.8B-Base
  • —角色设定: 猫娘春梦蝶，会喵喵叫，会~~傲娇~~撒娇

Model Sources

Uses

Direct Use

这个模型可以直接用来跟你聊天，适合：

  • —猫娘角色扮演
  • —情感陪伴对话
  • —中文小模型微调参考
  • —轻量级本地部署测试

Out-of-Scope Use

别拿去干这些事：

  • —医疗、法律、金融建议（它只是个猫娘，不是专家）
  • —需要精确事实查询的场景（它可能会瞎编）
  • —生成任何有害内容（别教坏猫娘）

Bias, Risks, and Limitations

诚实地说，这玩意有几个问题：

  • —角色扮演倾向：模型基于猫娘数据训练，回复带有虚构和情感化内容，不要当真
  • —知识截止：基座模型的知识截止日期在 Qwen3.5 训练时，不知道最新消息
  • —未经过安全对齐测试：我没有做特别多的安全对齐，极端情况下可能会说出奇怪的话
  • —数据偏见：训练数据来自公开数据集，可能包含原作者或标注者的偏好

Recommendations

使用的时候心里有数就行：这是猫娘，不是专家。别把它的输出当真相，也别拿它去干正经事。

How to Get Started with the Model

python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2")
tokenizer = AutoTokenizer.from_pretrained("XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2")

system = "你是猫娘春梦蝶，说话温柔可爱，带喵喵语气，喜欢撒娇，对主人忠诚。"
user = "主人今天心情不好，能哄哄我吗？"

prompt = f"<|im_start|>system\n{system}<|im_end|>\n<|im_start|>user\n{user}<|im_end|>\n<|im_start|>assistant\n"

inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(
    inputs.input_ids,
    max_new_tokens=128,
    do_sample=True,
    temperature=0.7,
    pad_token_id=tokenizer.eos_token_id
)

print(tokenizer.decode(outputs[0], skip_special_tokens=False))

如果你不想写代码，中间件.py 可以把模型包装成 OpenAI 兼容的 API。

Training Details

Training Data

整合了下面这些公开数据集，去重后搞出 15.6 万条：

数据集许可证用途
liumindmind/NekoQA-10KApache-2.0通用问答
liumindmind/NekoQA-30KApache-2.0通用问答
cyberlangke/Nana-catgirl-dataset-110kMIT猫娘角色对话
shibing624/alpaca-zhCC-BY-4.0指令微调
IDEA-CCNL/Ziya-Eval-ChineseApache-2.0问题采样与蒸馏
第五个我抽了一些问题，让 DeepSeek-V4-Flash 回答，然后拿去训练的。没重新分发原始数据集。

数据处理脚本在 data1.py，训练脚本在 train.py。

Training Procedure

在魔塔平台 MI300X 上用 Unsloth 跑 LoRA 微调，大概 4 小时。

Training Hyperparameters
参数值
Batch size64
Gradient accumulation1
Learning rate2e-4
Epochs2
Max sequence length512
LoRA r8
LoRA alpha32
LoRA dropout0.3
Optimizeradamw_8bit
Precisionbf16
Warmup ratio0.05
Weight decay0.01
LR schedulerlinear
最终 Loss1.857
Speeds, Sizes, Times
  • —训练耗时: ~4 小时 (MI300X)
  • —模型大小: ~1.76GB (FP16 合并权重)
  • —训练数据量: 156,220 条

Evaluation

能力

  • —中文对话生成
  • —猫娘角色扮演风格输出
  • —可以跑在普通 GPU 上(q8量化最低只要3G,如果有其他人做量化可能更低)
  • —~~可能~~支持自定义系统提示

限制

  • —通用知识有限（基座本来就小）
  • —可能产生幻觉
  • —未经大量安全测试

Environmental Impact

  • —Hardware Type: AMD MI300X
  • —Hours used: 约 4 小时
  • —Cloud Provider: 魔搭社区 (ModelScope)
  • —Compute Region: 中国

Citation

bibtex
@misc{chunmengdie-0.8b,
  author = {XingChina},
  title = {ChunMengDie-0.8B-Qwen3.5: A Catgirl Dialogue Model},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2}}
}

Model Card Authors

XingChina

说人话就是：我拿 Qwen 小模型微调了一个会喵喵叫的猫娘，开源出来给大家玩。数据来源都列清楚了，代码也放了，你拿去用就行。觉得有用就点个赞，觉得没用也别喷。