CoolFace
Modelpublic

dschen/sovereign-weather-ai-llama

sourceHugging Faceapache-2.0updated 8mo agoView on Hugging Face
0likes
Model Card

氣象主權 AI（Llama 版）— Sovereign Weather AI (Llama Base)

本模型由 Llama-3.2-1B-Instruct-4bit（Meta，美國）經 LoRA 微調，專注於臺灣氣象術語與中央氣象署（CWA）預報風格，適用於氣象知識問答、術語解釋與在地化氣象文本生成。

與 Qwen 版差異：本模型使用 非中國 基礎模型（Llama 3.2，Meta USA），適合對基礎模型來源有要求的應用情境。

模型說明

  • —Developed by: SovereginAI（氣象主權 AI 專案）
  • —Model type: 因果語言模型（Causal LM），經 LoRA 微調
  • —Language(s): 繁體中文（zh-TW）
  • —License: Apache 2.0
  • —Finetuned from: mlx-community/Llama-3.2-1B-Instruct-4bit（Meta，美國）
  • —Training method: LoRA (Low-Rank Adaptation)
  • —Base model origin: Meta（美國），非中國

訓練方式

bash
./scripts/train/train_lora_mlx_llama.sh

推理範例

從 Hugging Face 下載後使用

bash
# 下載適配器
huggingface-cli download dschen/sovereign-weather-ai-llama-llama --local-dir ./sovereign-weather-lora-llama

# 推理
python -m mlx_lm generate \
    --model mlx-community/Llama-3.2-1B-Instruct-4bit \
    --adapter-path ./sovereign-weather-lora-llama \
    --prompt "請說明焚風現象"

本機（已訓練）

bash
python -m mlx_lm generate \
    --model mlx-community/Llama-3.2-1B-Instruct-4bit \
    --adapter-path models/sovereign-weather-lora-llama \
    --prompt "請說明焚風現象"

模型檔案位置

  • —LoRA 適配器：models/sovereign-weather-lora-llama/
  • —合併後模型（需自行 fuse）：見下方

Fuse 合併（可選）

bash
python -m mlx_lm fuse \
  --model mlx-community/Llama-3.2-1B-Instruct-4bit \
  --adapter-path models/sovereign-weather-lora-llama \
  --save-path models/sovereign-weather-fused-llama

評估結果

最後更新：2026-02-11 14:53

定量評估（本專案）

指標基礎模型微調模型說明
PPL（通用中文）35.7656.18微調後 略升
PPL（通用額外）15.0821.09同上
PPL（氣象領域）112.7846.09顯著改善
準確率（6 題）50%50%相當
回覆長度（平均字元）6652.5相當
延遲（平均秒／題）0.2430.337LoRA 略增推理時間

標準基準（lm-eval，limit=25）

基準基礎模型微調模型差異
GSM8K8% (strict) / 24% (flex)4% / 24%相當
MMLU abstract_algebra24%24%相當

氣象領域 PPL 明顯下降，泛化指標（準確率、MMLU）維持相當。

測試評估

一鍵執行所有評估並更新本文件：

bash
python scripts/evaluate/run_all_eval.py --model-type llama

或分別執行：

bash
# 定量評估（PPL、準確率）
python scripts/evaluate/run_quantitative_eval.py --model-type llama

# Prompt 比較（定性）
python scripts/evaluate/compare_base_vs_finetuned.py --model-type llama

# Perplexity 比較
python scripts/evaluate/compare_perplexity.py --model-type llama

# 標準基準評估（需先 fuse）
python -m mlx_lm fuse --model mlx-community/Llama-3.2-1B-Instruct-4bit --adapter-path models/sovereign-weather-lora-llama --save-path models/sovereign-weather-fused-llama
python scripts/evaluate/run_standard_benchmarks_inline.py --model-type llama

更多資訊

  • —主模型說明（Qwen 版）：models/MODEL_CARD.md
  • —訓練流程：scripts/train/README.md
  • —中央氣象署開放資料：opendata.cwa.gov.tw