suyu-io/Llama-3.1-8B-Thinking-Distill-R1-GGUF

Llama-3.1-8B-Thinking-Distill-R1-GGUF

模型简介

本模型基于 meta-llama/Llama-3.1-8B 进行微调训练，使用满血版 DeepSeek-R1 蒸馏的中文数据集进行训练，使模型具备深度思考（Thinking）能力，同时显著提升了中文理解和推理能力。

主要特点

• —🧠 深度思考模式：相较于原版 Llama-3.1-8B，新增了深度思考能力，能够进行更复杂的推理
• —🇨🇳 中文能力增强：通过中文蒸馏数据集训练，大幅提升中文理解和生成能力
• —💾 轻量化部署：Q4KM 量化版本，内存占用极小，适合本地部署
• —⚡ 高效训练：使用 Unsloth 实现 2 倍训练加速

训练数据

训练集和验证集使用 Congliu/Chinese-DeepSeek-R1-Distill-data-110k，这是一个开源的中文 DeepSeek-R1 蒸馏数据集。

数据分布

使用方法

llama.cpp

文本生成：

./llama.cpp/llama-cli -hf suyu-io/Llama-3.1-8B-Thinking-Distill-R1-GGUF --jinja

多模态模型：

./llama.cpp/llama-mtmd-cli -hf suyu-io/Llama-3.1-8B-Thinking-Distill-R1-GGUF --jinja

Ollama

本仓库包含 Ollama Modelfile，可直接用于部署。

可用模型文件

模型信息

• —基础模型: meta-llama/Llama-3.1-8B
• —训练数据: Congliu/Chinese-DeepSeek-R1-Distill-data-110k
• —量化格式: GGUF (Q4KM)
• —训练框架: Unsloth

适用场景

• —中文问答与对话
• —数学推理与计算
• —逻辑推理任务
• —STEM 领域问题解答
• —通用中文文本生成

致谢

• —Meta AI - Llama 3.1 基础模型
• —DeepSeek - R1 模型蒸馏数据
• —Unsloth - 高效训练框架
• —Congliu - 中文蒸馏数据集