CoolFace
Modelpublic

Kerwin0113/GSW-Gemma3-4B-20251207-0019-GGUF

sourceHugging Faceupdated 10mo agoView on Hugging Face
0likes12downloads
Model Card

GSW-Gemma3-4B-20251207-0019-GGUF

模型信息

  • —微调模型: GSW-Gemma3-4B-20251207-0019
  • —量化方法: q4km
  • —转换工具: llama.cpp (converthfto_gguf.py + llama-quantize)

使用方法

Ollama

bash
# 创建模型
ollama create gsw-gemma3-4b-20251207-0019 -f Modelfile

# 运行模型
ollama run gsw-gemma3-4b-20251207-0019

llama.cpp

bash
# 使用 GPU 加速 (ngl=99 表示所有层都放到 GPU)
./llama-cli -m GSW-Gemma3-4B-20251207-0019-q4_k_m.gguf -p "你的问题" -ngl 99

# 交互模式
./llama-cli -m GSW-Gemma3-4B-20251207-0019-q4_k_m.gguf -i -ngl 99

LM Studio

  1. 1.下载 GGUF 文件
  2. 2.在 LM Studio 中加载模型
  3. 3.设置 Context Length 为 8192
  4. 4.设置 Max Generated Length 为 2048+

推荐推理参数

temperature: 0.7
top_p: 0.9
repetition_penalty: 1.05
max_tokens: 4096

转换信息

  • —转换日期: 2025-12-07
  • —转换脚本: converttogguf.py