jiaqianjing/qwen3-8b-douyin-script-style-lora

Qwen3-8B Douyin Script Style LoRA

这是一个面向中文知识/科幻短视频完整口播稿的 Qwen3-8B LoRA adapter。输入主题后， 模型倾向于使用直接开场、递进展开、自然转折和生活化类比。它是研究性风格适配器， 不是任何真实创作者的官方模型。

Intended use

• —中文短视频脚本草拟与改写；
• —LoRA 风格迁移研究；
• —在人工事实核验和编辑下辅助创作。

不得用于冒充真实创作者、误导观众其内容来自原博主，或规避著作权和平台规则。公开 输出应标注 AI 生成或风格研究。

Base model and adapter

• —Base: Qwen/Qwen3-8B
• —Base revision used for the formal run: b968826d9c46dd6066d109eabc6255188de91218
• —PEFT LoRA rank 16, alpha 32, dropout 0.05
• —Target modules: q/k/v/o and gate/up/down projections
• —Adapter SHA-256: eeaccf6fd8609eed7045b54a4ef5facfc70b6d342e1bb1658ca1247f8efef9e6

Training and evaluation

数据来自有权访问的公开中文短视频，经本地 ASR、去重和质量过滤后，按发布时间做 80/10/10 切分。原始媒体、转写和训练 JSONL 没有上传到 Hub。训练/验证/测试条数为 247/31/31，属于弱监督数据。

• —Blind test loss: 3.4251
• —Mean token accuracy: 0.3804
• —Character TF-IDF style-centroid cosine: 0.1625 (base) → 0.2153 (LoRA)
• —Exact 20-character training-copy ratio: 0
• —Long generation evaluation: 5/31 samples reached the 2048-token cap

字符风格余弦只是代理指标，不等价于人工判断。完整实验记录位于 `douyin-style-lab`。

Usage

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_id = "Qwen/Qwen3-8B"
adapter_id = "jiaqianjing/qwen3-8b-douyin-script-style-lora"

tokenizer = AutoTokenizer.from_pretrained(base_id)
base = AutoModelForCausalLM.from_pretrained(base_id, dtype=torch.bfloat16)
model = PeftModel.from_pretrained(base, adapter_id).to("cuda").eval()

messages = [
    {
        "role": "system",
        "content": "写中文知识短视频口播稿；不要冒充真实人物，不确定的信息不要编造。",
    },
    {"role": "user", "content": "主题：如果月球突然消失，会发生什么？"},
]
text = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True, enable_thinking=False
)
inputs = tokenizer(text, return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=2048, temperature=0.7, do_sample=True)
print(tokenizer.decode(output[0, inputs.input_ids.shape[1]:], skip_special_tokens=True))

Limitations

• —ASR 和原始口播没有逐条事实校订；模型可能继承科幻设定、过时信息或事实错误。
• —模型可能生成过长或重复的结尾；应设置长度上限并人工编辑。
• —提示词中的“保持事实边界”不能保证事实正确。事实敏感内容必须提供核验材料并复核。
• —该 adapter 未与聊天 adapter 叠加或合并评估。

License and data note

Qwen3-8B 基座遵循其原始许可证。本 adapter 以 license: other 发布：权重可用于研究和 上述辅助创作场景，但本发布不授予任何第三方原始内容的权利，也不表示真实创作者认可 或参与了本模型。使用者必须自行确认具体用途所需的权利和合规义务。