CoolFace
Modelpublic

Kerwin0113/GSW-EduChat-1.8B-20251207-1201-GGUF

sourceHugging Faceupdated 10mo agoView on Hugging Face
0likes10downloads
Model Card

GSW-EduChat-1.8B-20251207-1201-GGUF

模型信息

使用方法

Ollama

bash
# 创建模型
ollama create gsw-educhat-1.8b-20251207-1201 -f Modelfile

# 运行模型
ollama run gsw-educhat-1.8b-20251207-1201

llama.cpp

bash
# 使用 GPU 加速 (ngl=99 表示所有层都放到 GPU)
./llama-cli -m GSW-EduChat-1.8B-20251207-1201-Q4_K_M.gguf -p "你的问题" -ngl 99

# 交互模式
./llama-cli -m GSW-EduChat-1.8B-20251207-1201-Q4_K_M.gguf -i -ngl 99

LM Studio

  1. 1.下载 GGUF 文件
  2. 2.在 LM Studio 中加载模型
  3. 3.设置 Chat Template 为 chatml
  4. 4.设置 Context Length 为 8192
  5. 5.设置 Max Generated Length 为 2048+

⚠️ 重要注意事项

防止乱码

  • —必须使用与训练时相同的 chat_template: chatml
  • —确保推理引擎版本支持该模型架构
  • —参考: https://docs.unsloth.ai/basics/inference-and-deployment/saving-to-gguf

推荐推理参数

temperature: 0.7
top_p: 0.9
repetition_penalty: 1.05
max_tokens: 4096

训练信息

  • —训练日期: 2025-12-07
  • —LoRA: r=32, alpha=64