CoolFace
Datasetpublic

Paul720810/gguf-models

GGUF Models Collection - 多格式版本 這個倉庫包含多種量化格式的 GGUF 模型檔案。 格式說明 格式 描述 品質 檔案大小 推薦用途 FP16 16位浮點 最高 最大 高精度推理、微調基準 Q8_0 8位量化 高 中等 高品質推理、伺服器部署 Q4_K_M 4位混合量化 良好 最小 本地部署、快速推理 轉換摘要 📊 成功轉換: 3/4 個模型 📈 成功率: 75.0% 🔧 支援格式: FP16, Q8_0, Q4_K_M 🕒 更新時間: 2025-08-29 04:34:43 模型列表 模型名 FP16 Q8_0 Q4_K_M 狀態 deepseek-1.3b-sql-final-t4x2 2569.5MB N/A N/A ✅ 成功 codegemma-2b-sql-coder-finetuned 4786.0MB N/A N/A ✅ 成功… See the full description on the dataset page: https://huggingface.co/datasets/Paul720810/gguf-models.

sourceHugging Faceotherupdated 1y agoView on Hugging Face
0likes680downloads
Dataset Card

GGUF Models Collection - 多格式版本

這個倉庫包含多種量化格式的 GGUF 模型檔案。

格式說明

格式描述品質檔案大小推薦用途
FP1616位浮點最高最大高精度推理、微調基準
Q8_08位量化高中等高品質推理、伺服器部署
Q4KM4位混合量化良好最小本地部署、快速推理

轉換摘要

  • —📊 成功轉換: 3/4 個模型
  • —📈 成功率: 75.0%
  • —🔧 支援格式: FP16, Q80, Q4K_M
  • —🕒 更新時間: 2025-08-29 04:34:43

模型列表

模型名FP16Q8_0Q4_K_M狀態
deepseek-1.3b-sql-final-t4x22569.5MBN/AN/A✅ 成功
codegemma-2b-sql-coder-finetuned4786.0MBN/AN/A✅ 成功
qwen2-7b-sql-merged-final-t4x2N/AN/AN/A❌ 失敗
qwen-coder-1.5b-sql-final-t4x22950.4MBN/AN/A✅ 成功

使用說明

下載模型

python
from huggingface_hub import hf_hub_download

# FP16 版本（最高品質）
fp16_model = hf_hub_download(
    repo_id="Paul720810/gguf-models",
    filename="模型名.fp16.gguf",
    repo_type="dataset"
)

# Q4_K_M 版本（平衡，推薦）
q4_model = hf_hub_download(
    repo_id="Paul720810/gguf-models",
    filename="模型名.q4_k_m.gguf",
    repo_type="dataset"
)

格式選擇建議

  • —FP16: 最高精度，適合研究和基準測試
  • —Q8_0: 高品質，檔案約為 FP16 的 50%
  • —Q4_K_M: 最小檔案，檔案約為 FP16 的 25%，適合本地部署

技術資訊

  • —🛠️ 轉換工具: llama.cpp + llama-cpp-python
  • —🌐 轉換環境: Kaggle Notebook
  • —📦 格式標準: GGUF
  • —🔧 量化方法: K-means quantization

自動生成於 Kaggle Notebook