Yvthyvq/Liujgoj-Cantonese-gemma-4-12B-it-cpt

Liujgoj-Cantonese-gemma-4-12B-it-cpt

🌟 模型簡介

本模型係基於 Google 嘅 `google/gemma-4-12B-it` 進行 CPT (Continual Pre-Training) 嘅粵語羅馬字增強版本。

透過 CPT 技術，我哋為模型注入咗 粵語音節知識 同 16 個特殊 XML 標籤，令模型能夠更準確噉理解同生成粵語羅馬字（Jyutping）。

🎯 模型特點

• —✅ 基於 Gemma 4 12B Instruction Tuned：保留優秀嘅對話同指令遵循能力
• —✅ 擴充詞表：新增 5,984 個粵語音節 Token，提升粵語處理效率
• —✅ 16 個特殊標籤：支援結構化數據處理（詞條、場景、音節等）
• —✅ 粵語羅馬字理解：能夠處理同生成 Jyutping 羅馬字
• —✅ 支援多任務：適用於翻譯、解釋、對話生成等任務

🏷️ 特殊標籤列表

🚀 使用方法

基本載入

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_path = "Yvthyvq/Liujgoj-Cantonese-gemma-4-12B-it-cpt"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

🤝 數據集致謝與許可協議 / Dataset Acknowledgements & Licenses

中文與社區許可協議

本模型在增量預訓練（CPT）部分使用了 OpenCSG/Fineweb-Edu-Chinese 數據集。在此特別感謝 OpenCSG 開源社區提供的優質教育語料。本模型的衍生、分發與使用將嚴格遵循 OpenCSG 模型社區許可協議。

English & Global Dataset Acknowledgement

Part of the continued pre-training (CPT) data used in this model is derived from the HuggingFaceFW/fineweb-edu dataset. We are grateful to the Hugging Face vLLM/FW team for providing this high-quality dataset under the MIT license.