datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
zh-tw-wikipedia
台灣正體中文維基百科 (zh-tw Wikipedia)
截至 2023 年 5 月，中文維基百科 2,533,212 篇條目的台灣正體文字內容。每篇條目為一列 (row)，包含 HTML 以及 Markdown 兩種格式。
A nearly-complete collection of 2,533,212 Traditional Chinese (zh-tw) Wikipedia pages, gathered between May 1, 2023, and May 7, 2023. Includes both the original HTML format and an auto-converted Markdown version, which has been processed using vinta/pangu.py.
於 2023 年 5 月 1 日至 5 月 7 日間取自維基百科 action=query & prop=extracts API，內容皆與維基百科網站之台灣正體版本一致，沒有繁簡體混雜的問題。
For development… See the full description on the dataset page: https://huggingface.co/datasets/zetavg/zh-tw-wikipedia.zh-tw-wikipedia
台灣正體中文維基百科 (zh-tw Wikipedia)
截至 2023 年 5 月，中文維基百科 2,533,212 篇條目的台灣正體文字內容。每篇條目為一列 (row)，包含 HTML 以及 Markdown 兩種格式。
A nearly-complete collection of 2,533,212 Traditional Chinese (zh-tw) Wikipedia pages, gathered between May 1, 2023, and May 7, 2023. Includes both the original HTML format and an auto-converted Markdown version, which has been processed using vinta/pangu.py.
於 2023 年 5 月 1 日至 5 月 7 日間取自維基百科 action=query & prop=extracts API，內容皆與維基百科網站之台灣正體版本一致，沒有繁簡體混雜的問題。
For development… See the full description on the dataset page: https://huggingface.co/datasets/sirzmkk/zh-tw-wikipedia.ivod-zhtw-10min-maps
IVOD zh-TW 10-min Extractive Meeting Summaries (MAP)
10-minute periodic meeting summaries in Traditional Chinese (Taiwan),
built as MAP targets for a map-reduce meeting summarizer:
MAP (this dataset, one bounded summary per 10-min window, ≤512 tokens) →
REDUCE (cloud model over map outputs at meeting end).
Source
Speech→transcript base: OpenFormosa/parliament (Taiwan Legislative Yuan
IVOD, ~1,286 h, embedded opus audio + transcripts). Gazette metadata from… See the full description on the dataset page: https://huggingface.co/datasets/Luigi/ivod-zhtw-10min-maps.zhtw-roleplay-space-grimoire
Space Grimoire RP Corpus (Traditional Chinese)
Speaker-attributed dialogue from the original novel 空間魔導書與少年魔法師 (The Space Grimoire and the Young Mage; 283 chapters, ~1.7M characters), cut into scenes and assembled into ShareGPT-style role-play training data. The novel and this dataset are the work of 睡半夜怎麼三更, who holds the copyright and has no exclusive platform agreement. Data: CC BY 4.0. Code: Apache 2.0.
中文說明在下方
Dataset Summary
Source text
283… See the full description on the dataset page: https://huggingface.co/datasets/asd567557275/zhtw-roleplay-space-grimoire.zh-tw-pythia-ta8000-v1-e1-tr_wiki_sg-001-c1024
zh-tw-pythia-ta8000-v1-e1-tr_wiki_sg-001-c1024
This dataset is a part of the zh-tw-llm project.
Tokenizer: zh-tw-pythia-tokenizer-a8000-v1
Built with: translations, wikipedia, sharegpt
Rows: train 305956, test 225
Max length: 1024
Full config:{"build_with": ["translations", "wikipedia", "sharegpt"], "preview_length": 128, "translations_settings": {"source_dataset": "zetavg/coct-en-zh-tw-translations-twp-300k", "lang_1_key": "en", "lang_2_key": "ch", "templates": ["English:… See the full description on the dataset page: https://huggingface.co/datasets/zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_wiki_sg-001-c1024.mr-right-zhtw
Mr. Right zh-TW — Traditional-Chinese Multimodal Retrieval Corpus
A bilingual (Traditional Chinese + English) multimodal document retrieval corpus:
769,245 Wikipedia-derived documents, each with an English title/body, a Traditional-Chinese
(Taiwan) translation, and a machine-generated Traditional-Chinese caption of the document's
image — plus test/validation query sets and the pseudo-labelled pairs used to fine-tune a
retriever on it.
The documents derive from Wikipedia through… See the full description on the dataset page: https://huggingface.co/datasets/ericssonbear/mr-right-zhtw.zhtw-wiki-semsearch-index
繁體中文維基百科語意搜尋索引（bge-m3 + FAISS）
這個 repo 存放 zhtw-wiki-semantic-search
專案預先建好的索引，供
Gradio demo Space
啟動時下載使用。
檔案
檔案
內容
index.faiss
FAISS IndexFlatIP，50,000 × 1024 維、L2-normalized 的 BAAI/bge-m3 dense embedding（內積 = cosine 相似度）
metadata.parquet
每列對應一個 FAISS vector id：id（= 向量位置）、pageid、title、text（段落全文）、url（維基原文連結）
建置方式
來源：zetavg/zh-tw-wikipedia
（中文維基百科的 zh-tw 變體快照）
清理：去除 markdown 標記/表格/列表/註腳/尾部參考章節後，切成 100–500 字的段落
抽樣：page 層級… See the full description on the dataset page: https://huggingface.co/datasets/steven0226/zhtw-wiki-semsearch-index.c4-zhtw
Dataset Card for c4-zhtw
c4-zhtw 是一個繁體中文（zh-tw）版本之 C4 子集之小型實驗用語料集，合計 2,783 筆，於原始文本之外額外附帶分類器預測（pred_label / pred_conf）與人工標註（label / reason）欄位，用於訓練或評估「繁中高品質文本分類器」（例如用於篩選 c4 / fineweb 繁中子集之 classifier）。
Dataset Details
Dataset Description
繁體中文之高品質預訓練語料長期不足，過濾現有大規模語料（如 C4、FineWeb）成為常見解法。本資料集為其中一個小型實驗子集，記錄了：
原始 C4 之 zh 子集中之文本、時間戳、URL；
分類器自動預測之標籤（pred_label 與信心 pred_conf）；
人工覆核之最終標籤（label）與標註理由（reason）；
文本長度之 word / token 計數。
主要用途為訓練或評估「繁中品質分類器」之… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/c4-zhtw.aime-2025-zhtwzh-tw-pythia-ta8000-v1-e1-tr_sg-201-c1024
zh-tw-pythia-ta8000-v1-e1-tr_sg-201-c1024
This dataset is a part of the zh-tw-llm project.
Tokenizer: zh-tw-pythia-tokenizer-a8000-v1
Built with: translations, sharegpt
Rows: train 205965, test 195
Max length: 1024
Full config:{"build_with": ["translations", "sharegpt"], "preview_length": 128, "translations_settings": {"source_dataset": "zetavg/coct-en-zh-tw-translations-twp-300k", "lang_1_key": "en", "lang_2_key": "ch", "templates": ["English: {lang_1}\nChinese: {lang_2}"… See the full description on the dataset page: https://huggingface.co/datasets/zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_sg-201-c1024.zh-tw-wikipedia-devA small subset of zetavg/zh-tw-wikipedia that contains only 1,000 randomly picked rows. For development usage.
fineweb-2-zhtw
Dataset Card for fineweb-2-zhtw
fineweb-2-zhtw 是以 Hugging Face FineWeb-2 的 cmn_Hani（官話／漢字）子集為來源，經多層產地與字形／用語過濾後，取出以台灣繁體中文為主的網頁語料，保留 FineWeb-2 的完整 metadata，可作為繁中持續預訓練語料。
與單純「挑出繁體字」的做法不同：本資料集把「繁體字」和「台灣繁體內容」當成兩件事處理。中國網站的 BIG5 轉碼閘道、香港媒體、以及訂房網站的機器翻譯頁面都會產出繁體字，但用語與語感並非台灣中文，這些都在過濾流程中被排除。
Dataset Details
來源 cmn_Hani/train 共 370 個 parquet 分片、約 636,058,984 列（約 1.6 TB）。經過濾後保留 11,416,204 列，留存率 **1.81%**。
Dataset Sources
Repository: lianghsun/fineweb-2-zhtw… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/fineweb-2-zhtw.zh-tw-wikipedia
台灣正體中文維基百科 (zh-tw Wikipedia)
截至 2023 年 5 月，中文維基百科 2,533,212 篇條目的台灣正體文字內容。每篇條目為一列 (row)，包含 HTML 以及 Markdown 兩種格式。
A nearly-complete collection of 2,533,212 Traditional Chinese (zh-tw) Wikipedia pages, gathered between May 1, 2023, and May 7, 2023. Includes both the original HTML format and an auto-converted Markdown version, which has been processed using vinta/pangu.py.
於 2023 年 5 月 1 日至 5 月 7 日間取自維基百科 action=query & prop=extracts API，內容皆與維基百科網站之台灣正體版本一致，沒有繁簡體混雜的問題。
For… See the full description on the dataset page: https://huggingface.co/datasets/mindbound0/zh-tw-wikipedia.fineweb-2-edu-zhtw
Dataset Card for fineweb-2-edu-zhtw
UltraX 清洗欄位
原有欄位（text 與 zhtw_*、edu_* 等共 22 欄）維持不變，另新增以下欄位，記錄以
openbmb/UltraX-0.6B-Preview 清洗的結果。
UltraX 不做端到端改寫，而是預測結構化編輯操作（keep_all / remove_all / remove_lines /
replace_str / add_line），再由程式確定性套用，因此每個決策都可被檢驗與否決。
欄位
說明
cleaned_text
清洗後文字，緊接 text 之後；needs_review 為 true 時等同原文
word_count / token_count
原文的詞數與 token 數（本資料集原本沒有，一併補上）
cleaned_word_count / cleaned_token_count
清洗後對應數值，同一套算法
word_reduction_pct /… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/fineweb-2-edu-zhtw.zh-tw-pythia-ta8000-v1-e1-tr_sg-302-c1024
zh-tw-pythia-ta8000-v1-e1-tr_sg-302-c1024
This dataset is a part of the zh-tw-llm project.
Tokenizer: zh-tw-pythia-tokenizer-a8000-v1
Built with: translations, sharegpt
Rows: train 305958, test 195
Max length: 1024
Full config:{"build_with": ["translations", "sharegpt"], "preview_length": 128, "translations_settings": {"source_dataset": "zetavg/coct-en-zh-tw-translations-twp-300k", "lang_1_key": "en", "lang_2_key": "ch", "templates": ["English: {lang_1}\nChinese: {lang_2}"… See the full description on the dataset page: https://huggingface.co/datasets/zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_sg-302-c1024.zh_translation_benchmark
zh_translation_benchmark
zh_translation_benchmark is a 2,000-example synthetic benchmark for evaluating whether a translation or rewriting model can produce natural Taiwan Traditional Chinese (zh-TW) from English, Mainland Chinese, Hong Kong Traditional Chinese, Cantonese-style written Chinese, or code-mixed English/Chinese documents.
The dataset now exposes a single Hugging Face subset/config: full. It is not split into dev and test files. The full 2,000 rows are loaded… See the full description on the dataset page: https://huggingface.co/datasets/OpenFormosa/zh_translation_benchmark.zh-tw-pythia-ta8000-v1-it1-sg-002
zh-tw-pythia-ta8000-v1-it1-sg-002
This dataset is a part of the zh-tw-llm project.
Tokenizer: zh-tw-pythia-tokenizer-a8000-v1
Built with: sharegpt
Rows: train 8054, test 83
Max length: 2048
Full config:{"build_with": ["sharegpt"], "preview_length": 512, "sharegpt_settings": {"source_dataset": "zetavg/ShareGPT-Processed", "train_on_inputs": false, "languages": [{"en": 0.3}, {"zh": 0.2}, "zh_Hant"], "rows_limit": 10000, "test_size": 0.01, "test_split_seed": 42, "test_rows_limit":… See the full description on the dataset page: https://huggingface.co/datasets/zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-it1-sg-002.fineweb-edu-zhtw
Dataset Card for fineweb-edu-zhtw
UltraX 清洗欄位
本資料集的原始欄位（text 等 12 欄）維持不變，另外新增以下欄位，記錄以
openbmb/UltraX-0.6B-Preview 清洗的結果。
UltraX 不是端到端改寫，而是預測結構化的編輯操作（keep_all / remove_all / remove_lines /
replace_str / add_line），再由程式確定性地套用，因此每一個決策都可被檢驗與否決。
欄位
說明
cleaned_text
清洗後的文字，緊接在 text 之後；needs_review 為 true 時等同原文（不採用清洗結果）
cleaned_word_count
清洗後詞數，與原 word_count 同一套算法（CJK 逐字 + 英文逐詞）
cleaned_token_count
清洗後 token 數，與原 token_count 同一套（tiktoken cl100k_base）… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/fineweb-edu-zhtw.zh-tw-pythia-ta8000-v1-e1-tr_sg-301-c1024-sbldt5
zh-tw-pythia-ta8000-v1-e1-tr_sg-301-c1024-sbldt5
This dataset is a part of the zh-tw-llm project.
Tokenizer: zh-tw-pythia-tokenizer-a8000-v1
Built with: sharegpt
Rows: train 5950, test 95
Max length: 1024
Full config:{"build_with": ["sharegpt"], "preview_length": 128, "sort_by": "length-desc", "translations_settings": {"source_dataset": "zetavg/coct-en-zh-tw-translations-twp-300k", "lang_1_key": "en", "lang_2_key": "ch", "templates": ["English: {lang_1}\nChinese: {lang_2}"… See the full description on the dataset page: https://huggingface.co/datasets/zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_sg-301-c1024-sbldt5.cmath-zhtwfinepdf-edu-zhtw
Dataset Card for finepdf-edu-zhtw
⚠️ 狀態：manual review 中 —— 本資料集目前尚未經過人工抽查驗證，篩選流程為全自動（規則 + LLM + 分類器），使用前請自行評估品質風險。
📄 finepdf-edu-zhtw 是以 🍷 FineWeb-Edu-zhtw 為設計參考，針對 HuggingFaceFW/finepdfs（cmn_Hani 子集）建立的繁體中文教育取向 PDF 語料。原始 PDF 文本先經簡體/中國大陸內容過濾，去除完全重複的樣本後，再以 freddy4212/classifier-based-on-nemotron-3-embed 訓練的教育價值分類器篩選，僅保留中高教育價值的文本。
Dataset Details
Dataset Description
📄 finepdf-edu-zhtw 源自 HuggingFaceFW/finepdfs 的 cmn_Hani（中文）train… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/finepdf-edu-zhtw.finepdf-filtered-zhtw
Dataset Card for finepdf-filtered-zhtw
finepdf-filtered-zhtw 是以 Hugging Face FinePDF 為來源，過濾出繁體中文（zh-tw）為主的子集，保留 finepdf 的完整 metadata（包含語言判別分數、文件 dump、URL 等），可作為繁中持續預訓練語料的補充。
Dataset Details
Dataset Description
FinePDF 是 HuggingFace 從 Common Crawl 抽取出的 PDF 文本資料集，原本以英文為主、其他語言為輔。本資料集的處理方式：
以原始 metadata 中的 language 欄位先行篩選為 zh*。
對每筆 PDF 文本以 fastText／lid 等語言判別工具重新計算 page_average_lid、full_doc_lid 等欄位，並依分數判定是否為繁體中文（zh-tw）為主。
對偵測為簡體為主的樣本進行排除。
最終資料切分為 290… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/finepdf-filtered-zhtw.c4-edu-zhtw
Dataset Card for c4-edu-zhtw
c4-edu-zhtw 是以 allenai/c4 中文版本（c4 zh）為來源、再經過繁體中文教育性過濾之子集。每筆樣本保留原始 C4 metadata（URL、時間戳）並附上分類器的 pred_label 與 pred_conf，便於下游再做門檻調整。
Dataset Details
Dataset Description
資料集以 fineweb-edu-zhtw-classifier 對 C4 zh 子集做教育性分類，僅保留高教育性樣本，並排除簡體為主之文本。可作為與 fineweb-edu-zhtw 互補的繁中教育類預訓練語料（兩者來源不同：FineWeb vs C4）。
每筆樣本欄位：
text：清理後的網頁文本。
timestamp：抓取時間。
url：原始網址。
zh_id：在 C4 zh 中的索引。
word_count / token_count：字元數與 token 數。
pred_label /… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/c4-edu-zhtw.zhtw_legal