steven0226/llama-3.1-8b-taiwan-chat-lora

Llama-3.1-8B Taiwan Chat — LoRA adapter

Built with Llama

以 QLoRA(Unsloth)在 TaiwanChat 子集上微調 Meta-Llama-3.1-8B-Instruct 得到的 LoRA adapter,目標是更自然的繁體中文與台灣在地語感。

(English) Meta-Llama-3.1-8B-Instruct fine-tuned with QLoRA (Unsloth) on a subset of yentinglin/TaiwanChat to improve Traditional-Chinese (Taiwan) fluency and localization. Loss was computed on assistant responses only. Research / non-commercial use only (the dataset is CC BY-NC 4.0).

訓練設定

[image]

使用方式

這個 repo 只有 LoRA adapter(~幾十 MB),要搭配 base model 載入:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained("unsloth/Meta-Llama-3.1-8B-Instruct", torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "steven0226/llama-3.1-8b-taiwan-chat-lora")
tokenizer = AutoTokenizer.from_pretrained("steven0226/llama-3.1-8b-taiwan-chat-lora")

messages = [{"role": "user", "content": "請推薦台南的夜市小吃"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(inputs, max_new_tokens=256)[0, inputs.shape[1]:], skip_special_tokens=True))

想直接下載完整模型(不用自己合併)→ steven0226/llama-3.1-8b-taiwan-chat。

微調前後對照

同樣 5 個台灣情境問題、greedy decoding(可重現),差異完全來自微調:

<details> <summary>請用台灣人習慣的說法介紹珍珠奶茶:它的由來、基本做法,以及為什麼能代表台灣的手搖飲文化。</summary>

微調前(base):

珍珠奶茶是一種非常受歡迎的手搖飲料，尤其是在台灣。它的由來可以追溯到清朝時期，當時中國南方地區有個叫做"珍珠茶"的飲料，它是由珍珠狀的豆漿和奶茶混合而成。

在台灣，珍珠奶茶的流行可以追溯到20世紀50年代左右。最初，它是由一位名叫林文興的台北老闆創造的，他將珍珠狀的豆漿加入奶茶中，並且使用手搖器打勻，使得珍珠奶茶變得更加美味和口感佳。

基本上，珍珠奶茶的做法如下：

1. 1.先準備好奶茶和珍珠狀的豆漿。
2. 2.將兩者混合在一起。
3. 3.使用手搖器打勻，使得珍珠奶茶變得均勻和充滿氣泡。

珍珠奶茶能夠代表台灣的手搖飲文化的原因有幾點：

1. 1.傳統工藝: 手搖珍珠奶茶是一種傳統的

微調後(fine-tuned):

珍珠奶茶是一種以珍珠和奶茶為基底的飲品，源自中國南方地區。它的由來可以追溯到清朝時期，當時在福建省的泉州府有一種叫做「白玉」或「白糖水」的飲品。這種飲品是由白糖和水混合煮沸而成的，加入一些珍珠（即小麥粉）後，形成了現在我們所熟悉的珍珠奶茶。

基本做法是將珍珠和奶茶混合在一起，然後攪拌均勻。有些店家還會加上一些其他配料，如冰淇淋、巧克力醬等，以增加口感。

珍珠奶茶能代表台灣的手搖飲文化，因為它是台灣最受歡迎的手搖飲之一。許多台灣人都喜歡珍珠奶茶作為一天中的補充飲品，尤其是在炎熱的夏季。手搖飲文化也體現了台灣人的勤奮和創新精神，因為許多手搖飲店家都有自己的獨特配

</details>

<details> <summary>我是剛來台灣的交換學生,想辦手機門號。請比較預付卡和月租方案的差別,以及辦理時要準備哪些證件。</summary>

微調前(base):

歡迎你來到台灣! 預付卡和月租方案都是台灣的手機服務提供者提供的選擇，下面將為你比較這兩種方案的差異：

預付卡 (Prepaid Card)

• —透過購買特定的金額（通常為新台幣100元或500元）進行充值。
• —可以根據自己的需求購買通話、短訊、上網等服務。
• —充值後剩餘的金額可以儲存，下次使用時可直接扣除。
• —通常不需要簽訂合同，也不會有任何約束。

月租方案 (Postpaid Plan)

• —需要簽訂合同，通常需要提供身份證明文件。
• —每月需支付固定費用（通常包括通話、短訊、上網等服務）。
• —可以享受更多優惠，如免費通話、無限上…

微調後(fine-tuned):

預付卡和月租方案都是台灣的手機服務提供者所提供的選項，兩種方案都有其優點和缺點。

預付卡是一種無需簽訂合約或支付任何費用就能使用的手機服務。您只需要購買一個預付卡，並將它插入您的手機中，就可以開始使用了。預付卡通常以一定數量的通話時間、資料傳輸量或短信數量為限，當您使用完畢後，您可以再次購買新的預付卡繼續使用。

另一方面，月租方案則要求您簽訂一份合約並每個月支付固定的費用，以獲得特定數量的通話時間、資料傳輸量或短信數量。月租方案通常比預付卡更便宜，但如果您不常使用手機，您可能會浪費一些資源。

至於辦理時要準備的證件，通常需要提供身份證（如護照或國民身分證）和住址證明（如戶籍謄本或租金合同…

</details>

<details> <summary>請推薦台南有名的夜市,並列出五樣必吃的小吃,每樣用一兩句話介紹。</summary>

微調前(base):

台南有許多著名的夜市，以下是其中幾個：

1. 1.安平老街夜市：位於台南市中心，擁有豐富的美食選擇，是台南人最愛的夜市之一。
2. 2.永康夜市：位於台南市永康區，提供各種小吃和手工藝品，是一個熱鬧且充滿活力的夜市。
3. 3.中洲夜市：位於台南市中洲區，靠近海岸，提供海鮮小吃和其他在地特色食品。

以下是五樣必吃的小吃：

1. 1.台南蚵仔煎：蚵仔煎是一道傳統的台南小吃，用新鮮的蚵仔（蚬子）煮熟後醃製，味道鹹酸甜，非常口水暢銷。
2. 2.台南肉圓：肉圓是一種以豬肉和蔥作為主要材料製作的餅，外層金黃酥脆，內層軟嫩香滑，非常好吃。
3. 3.**台南

微調後(fine-tuned):

台南最有名的夜市是中華路夜市，位於台南市中心。這個夜市擁有豐富多彩的食物選擇，包括各種小吃、街頭美食和飲料。

以下是中華路夜市五樣必吃的小吃：

1. 1.台南肉圓：這是一種傳統的台灣小吃，由軟嫩的肉餡包裹在米粉或麵條中製成。它通常配以甜豆沙醬和蔥花一起享用。
2. 2.鹽酥雞：這是一種鹽味炸雞，外層金黃色脆脆，內層柔軟。它通常配以蔥花和辣椒一起享用。
3. 3.豆花：這是一種由豆腐和糖水製成的甜點，通常配以紅豆沙醬和蔥花一起享用。
4. 4.蚵仔煎：這是一道經典的台灣海鮮料理，使用新鮮的蚵仔和蔥花製成。它通常配以米飯一起享用。 5

</details>

<details> <summary>「土豆」這個詞在台灣和中國大陸分別指什麼?請再舉三組兩岸說法不同的日常用語,整理成表格。</summary>

微調前(base):

"土豆" 這個詞在台灣和中國大陸的意思不同。

在台灣，「土豆」通常指的是馬鈴薯（Potato）。

在中國大陸，「土豆」則是指的是sweet potato（甜薯）。

以下是三組兩岸說法不同的日常用語：

注意：以上列表中的例子可能會因為地域、年齡或文化等因素而有所不同。

微調後(fine-tuned):

</details>

<details> <summary>請解釋台灣的「垃圾不落地」政策,以及為什麼垃圾車會播放音樂?</summary>

微調前(base):

"垃圾不落地" 是台灣的一個垃圾管理政策，目的是減少垃圾在收集和運輸過程中掉落在地面。這項政策的主要目的在於保持城市環境清潔、美觀，並且保護環境。

根據這項政策，垃圾車通常會裝備特殊設計的垃圾箱或覆蓋物，以防止垃圾在運輸過程中掉落。另外，垃圾車也可能裝設噴水系統或其他設備來抑制垃圾掉落。

至於垃圾車播放音樂的原因，主要是為了提高民眾對垃圾分類和垃圾管理的意識，以及增加垃圾車的可視性和吸引力。垃圾車播放音樂可以幫助：

1. 1.提高民眾對垃圾分類的認知：通過音樂傳達垃圾分類的重要性和方法。
2. 2.增加垃圾車的可視性：音樂可以吸引民眾注意到�

微調後(fine-tuned):

台灣的「垃圾不落地」政策是指垃圾必須被收集並處理，不能隨意丟棄。這個政策旨在減少環境污染和保持社區清潔。

至於垃圾車播放音樂的原因，我無法提供任何相關資訊。垃圾車通常只負責收集和運送垃圾，並不涉及播放音樂。垃圾車可能會播放音樂以增加其可見性或吸引注意力，但這不是一個常見的做法。

</details>

限制

• —事實型內容(電信資費、店家、時刻)可能過時或幻覺,請勿當作查詢工具。
• —訓練資料含翻譯/合成語料,偶爾仍會滲出簡體中文或英文片段。
• —未做額外安全對齊,安全行為同 base model。

授權與合規

• —模型權重依 Llama 3.1 Community License 發佈(repo 內附 LICENSE.txt 與 NOTICE),使用須遵守 Acceptable Use Policy。
• —訓練資料 TaiwanChat 為 CC BY-NC 4.0:本模型僅供研究/非商業用途。

引用

@misc{lin2023taiwanllm,
  title={Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model},
  author={Yen-Ting Lin and Yun-Nung Chen},
  year={2023},
  eprint={2311.17487},
  archivePrefix={arXiv}
}

訓練使用 Unsloth。訓練程式碼:github.com/tun0000/llama32-taiwanchat-qlora