CoolFace
Modelpublic

roylin1003/royal-zhTW-ID-q3_k_s.gguf

sourceHugging Faceapache-2.0updated 1y agoView on Hugging Face
0likes15downloads
Model Card

license: apache-2.0 base_model: Qwen2.5-3B-Instruct language:

  • —zh
  • —id tags:
  • —gguf
  • —quantized
  • —text-generation
  • —llama
  • —q3ks
  • —efficient modeltype: llama quantization: Q3K_S ---

Royal ZhTW-ID Q3KS - Quantized Translation Model

高效能量化版本的繁體中文↔印尼文雙向翻譯 GGUF 模型，基於 Llama 架構，採用 Q2_K 量化技術。

模型詳情

  • —格式: GGUF
  • —量化: Q3KS (小型混合精度量化)
  • —架構: Llama
  • —大小: ~3.25GB (相較原版 F16 減少約 77% 大小)
  • —語言: 繁體中文 (zh-TW) ↔ 印尼文 (ID) 雙向翻譯
  • —原始模型: roylin1003/royal-zhTW-ID-f16.gguf
  • —量化工具: llama-quantize (llama.cpp)

量化資訊

此模型使用 Q2_K 量化，提供：

  • —極大幅度減少記憶體使用量
  • —適合資源極其有限的環境
  • —非常快的推理速度
  • —在極小模型尺寸下仍保持可用的品質

使用方式

Ollama

bash
ollama run roylin1003/royal-ZhTW-ID-q2_k.gguf

llama.cpp

bash
./main -m royal-ZhTW-ID-q2_k.gguf -p "Hello" -c 2048

Python (llama-cpp-python)

python
from llama_cpp import Llama
llm = Llama(
    model_path="royal-ZhTW-ID-q2_k.gguf",
    n_ctx=2048,
    n_threads=8
)

LM Studio

直接載入 GGUF 檔案即可使用

翻譯範例

繁體中文 → 印尼文

輸入: 請將以下繁體中文翻譯成印尼文
然而面臨到期債務壓力，可能影響其獲得補助的資格。
輸出: Namun, tekanan dari utang yang jatuh tempo dapat memengaruhi kelayakannya untuk menerima subsidi tersebut.

印尼文 → 繁體中文

輸入: 請將以下印尼文翻譯成繁體中文
Namun, tekanan dari utang yang jatuh tempo dapat memengaruhi kelayakannya untuk menerima subsidi tersebut.
輸出: 然而面臨到期債務壓力，可能影響其獲得補助的資格。

系統需求

  • —RAM: 最低 5GB，建議 7GB+
  • —CPU: 支援 AVX2 指令集
  • —儲存: 約 3.25GB 空間

效能比較

版本大小記憶體需求推理速度品質保持率
F16~14GB~16GB基準100%
Q3KS~3.25GB~5GB2.5-3x faster~90%

兼容性

  • —✅ llama.cpp
  • —✅ Ollama
  • —✅ text-generation-webui
  • —✅ LM Studio
  • —✅ KoboldCpp
  • —✅ Jan
  • —✅ GPT4All

量化技術

Q2_K 採用極度壓縮策略：

  • —大幅降低位元精度
  • —優化記憶體存取模式
  • —在極小空間下保持基本翻譯能力

訓練資料

模型基於高品質的中文↔印尼文平行語料進行微調，涵蓋新聞、商務、學術等多種領域的翻譯對。

建議用途

  • —繁體中文↔印尼文雙向翻譯
  • —跨語言文檔處理
  • —商務文件翻譯
  • —新聞文章翻譯
  • —學術文獻翻譯
  • —資源受限環境的翻譯應用

授權

本模型採用 Apache 2.0 授權條款。

致謝

感謝 llama.cpp 團隊提供優秀的量化工具。 ---

由 Roy Lin 創建 🚀 | Q3KS 小型量化版本 ---

roylin1003/royal-zhTW-ID-q3_k_s.gguf · CoolFace