datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
ceval-exam-zhtw
Dataset Card for "ceval-exam-zhtw"
C-Eval 是一個針對基礎模型的綜合中文評估套件。它由 13,948 道多項選擇題組成，涵蓋 52 個不同的學科和四個難度級別。原始網站和 GitHub 或查看論文以了解更多詳細資訊。
C-Eval 主要的數據都是使用簡體中文來撰寫并且用來評測簡體中文的 LLM 的效能來設計的，本數據集使用 OpenCC 來進行簡繁的中文轉換，主要目的方便繁中 LLM 的開發與驗測。
下載
使用 Hugging Face datasets 直接載入資料集：
from datasets import load_dataset
dataset=load_dataset(r"erhwenkuo/ceval-exam-zhtw",name="computer_network")
print(dataset['val'][0])
# {'id': 0, 'question':… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/ceval-exam-zhtw.moss-003-sft-chinese-zhtw
Dataset Card for "moss-003-sft-chinese-zhtw"
資料集摘要
本資料集主要是應用於專案：MOSS: 開源對話語言模型 所收集的數據。
MOSS 是支援中英雙語和多種外掛程式的開源對話語言模型，moss-moon 系列模型具有160億參數，在FP16精度下可在單張A100/A800或兩張3090顯示卡運行，在INT4/8精度下可在單張3090顯示卡運行。 MOSS基座語言模型在約七千億中英文以及程式碼單字上預訓練得到，後續經過對話指令微調、插件增強學習和人類偏好訓練具備多輪對話能力及使用多種插件的能力。
原始資料來源
moss-003-sft-data: moss-moon-003-sft 所使用的多輪對話數據，基於 MOSS-002 內測階段採集的約10萬用戶輸入數據和 gpt-3.5-turbo 構造而成，相比 moss-002-sft-data，moss-003-sft-data… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/moss-003-sft-chinese-zhtw.zh-tw-wikipedia
台灣正體中文維基百科 (zh-tw Wikipedia)
截至 2023 年 5 月，中文維基百科 2,533,212 篇條目的台灣正體文字內容。每篇條目為一列 (row)，包含 HTML 以及 Markdown 兩種格式。
A nearly-complete collection of 2,533,212 Traditional Chinese (zh-tw) Wikipedia pages, gathered between May 1, 2023, and May 7, 2023. Includes both the original HTML format and an auto-converted Markdown version, which has been processed using vinta/pangu.py.
於 2023 年 5 月 1 日至 5 月 7 日間取自維基百科 action=query & prop=extracts API，內容皆與維基百科網站之台灣正體版本一致，沒有繁簡體混雜的問題。
For development… See the full description on the dataset page: https://huggingface.co/datasets/zetavg/zh-tw-wikipedia.pretrain-chinese-zhtw
Dataset Card for "pretrain-chinese-zhtw"
More Information needed
zhwikisource-zhtw
Dataset Card for "zhwikisource-zhtw"
維基文庫（英文：Wikisource）, 又稱 "自由的圖書館", 是一個由志願者在線收集自由內容文本的站點。 它屬維基媒體計劃項目，由維基媒體基金會負責運營。
作品類型:
典籍 | 史書 | 小說 | 詩歌 | 散文 | 演講 | 歌詞 | 經書 | 更多……
主題：
條約 | 憲法 | 法律 | 教育 | 政治 | 歷史 | 宗教 | 更多……
精選：
文章： 道德經 | 脂硯齋重評石頭記
文集： 紅樓夢 | 三國演義 | 西遊記 | 詩經 | 夢溪筆談 | 三十六計 | 古文觀止
歷史： 史記 | 資治通鑑 | 續資治通鑑 | 金史 | 漢書 | 後漢書 | 三國志
判例： 中國大理院解釋 | 中華民國最高法院解釋 | 中華民國司法院解釋 | 中華民國司法院大法官解釋
分類： 中華民國法律 | 中華人民共和國法律 | 中華人民共和國國務院政府工作報告 | 十三經 | 正史
這個數據集是根據 Wikipedia dumps… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/zhwikisource-zhtw.c4-chinese-zhtw
Dataset Card for "c4-chinese-zhtw"
內容
Common Crawl 是一個非營利組織，負責抓取網路並向公眾免費提供其檔案和資料集。Common Crawl 的網路檔案包含自 2008 年以來收集的 PB 級資料。它一般每月完成一次抓取。
Common Crawl 的爬蟲程式遵守 nofollow 和 robots.txt 政策。用於處理 Common Crawl 資料集的開源程式碼是公開可用的。
這個繁中的數據來是來自 Common Crawl 2023-14 的 data archive 下載并進行清理 。
這是 jed351 準備的版本，託管在這個位址：
https://huggingface.co/datasets/jed351/Traditional-Chinese-Common-Crawl-Filtered
支援的任務
C4主要用於預訓練語言模型(pretrain language model)。
範例
一個樣本的範例:
{… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/c4-chinese-zhtw.llava_pretrain_zhtwclean_passages_80m-chinese-zhtw
Dataset Card for "clean_passages_80m-chinese-zhtw"
包含8千萬餘萬（88328203）個中文段落，不包含任何字母、數字。文字長度大部分介於 50~200 個字。
原始資料集是用於訓練GENIUS模型中文版。論文參考引用:
@article{guo2022genius,
title={GENIUS: Sketch-based Language Model Pre-training via Extreme and Selective Masking for Text Generation and Augmentation},
author={Guo, Biyang and Gong, Yeyun and Shen, Yelong and Han, Songqiao and Huang, Hailiang and Duan, Nan and Chen, Weizhu},
journal={arXiv preprint arXiv:2211.10330},
year={2022}
}… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/clean_passages_80m-chinese-zhtw.contact-attendant-zhtw
Contact-Attendant zh-TW/en — speech → tool-call dialogs
The training & evaluation data behind Luigi/Qwen3-ASR-0.6B-Agent
— a 0.6B speech agent that hears a spoken request and emits a search_contacts tool call for a
bilingual (Traditional Chinese / English) office phone directory.
This dataset is fully self-contained: the audio clips, the multi-turn dialog transcripts, the
closed contact directory, and the scripts that generated them. With it you can reproduce the
fine-tuned… See the full description on the dataset page: https://huggingface.co/datasets/Luigi/contact-attendant-zhtw.OpenNewsArchive_pretrain_zhtw
Dataset Card for "yuhuanstudio/OpenNewsArchive_pretrain_zhtw"
資料集摘要
本資料集基於 OpenNewsArchive 原始數據，經過以下處理步驟：
簡繁轉換：使用 OpenCC 工具將簡體中文轉換為繁體中文並轉換常用詞彙，確保繁體用語的一致性。
格式化：整理數據結構，使其適合大型語言模型（LLM）的預訓練，確保高效的文本輸入與處理。
原始資料來源:
內容說明
數據來源：OpenDataLab - OpenNewsArchive
語言：繁體中文（基於 OpenCC 處理）
資料格式：適用於 LLM 預訓練的格式，包含標準化文本結構。
使用說明
此資料集適用於：
大型語言模型的預訓練
自然語言處理（NLP）研究
繁體中文語言處理與分析
資料集結構
{
"text":… See the full description on the dataset page: https://huggingface.co/datasets/yuhuanstudio/OpenNewsArchive_pretrain_zhtw.ultra-fineweb-l3-en-zhtw
Ultra-FineWeb-L3 (en, multi_style) → 繁體中文
把 openbmb/Ultra-FineWeb-L3 的
英文 multi_style 子集（多風格改寫的預訓練語料）翻譯成台灣繁體中文。
欄位
欄位
說明
uid
來源自帶的唯一識別碼，未重算，可直接對回來源
style
來源的 style 欄位（此子集皆為 multi_style）
content
英文原文
content_zhtw
繁體中文譯文
chunk_count
翻譯時切成幾塊（長文本會在段落邊界切塊後分別翻譯再接合）
translation_error
該列是否有任何一塊翻譯失敗
翻譯規範
譯文遵循以下規則產生：
一律使用台灣繁體中文與台灣慣用詞，禁止簡體字與中國大陸慣用語
標點採全形／半形混排：中文語句用全形標點，英文單字、專有名詞、網址、數字維持半形
長文本在段落邊界切塊後分別翻譯再接合（chunk_count 記錄切了幾塊）… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/ultra-fineweb-l3-en-zhtw.zh-tw-wikipedia
台灣正體中文維基百科 (zh-tw Wikipedia)
截至 2023 年 5 月，中文維基百科 2,533,212 篇條目的台灣正體文字內容。每篇條目為一列 (row)，包含 HTML 以及 Markdown 兩種格式。
A nearly-complete collection of 2,533,212 Traditional Chinese (zh-tw) Wikipedia pages, gathered between May 1, 2023, and May 7, 2023. Includes both the original HTML format and an auto-converted Markdown version, which has been processed using vinta/pangu.py.
於 2023 年 5 月 1 日至 5 月 7 日間取自維基百科 action=query & prop=extracts API，內容皆與維基百科網站之台灣正體版本一致，沒有繁簡體混雜的問題。
For development… See the full description on the dataset page: https://huggingface.co/datasets/sirzmkk/zh-tw-wikipedia.openorca-chinese-zhtw
Dataset Card for "openorca-chinese-zhtw"
Dataset Summary
The OpenOrca dataset is a collection of augmented FLAN Collection data.
Currently ~1M GPT-4 completions, and ~3.2M GPT-3.5 completions.
It is tabularized in alignment with the distributions presented in the ORCA paper and currently represents a partial completion of the full intended dataset, with ongoing generation to expand its scope.
The data is primarily used for training and evaluation in the field of natural… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/openorca-chinese-zhtw.Wiki-zhtw-20250601
Dataset Card for Wiki-zhtw-20250601
Dataset Description
This dataset is derived from the Chinese‑Wikipedia dump dated 2025‑06‑01, downloaded from Wikimedia.Articles were extracted from the original .xml.bz2 archive with Gensim, converted to Markdown format via regular‑expression post‑processing, and finally converted from Simplified to Traditional Chinese using OpenCC.
Taiwan-Tongues-ASR-CE-dataset-zhtw
Taiwan-Tongues-ASR-CE-dataset-zhtw
本資料集為 Taiwan-Tongues-ASR-CE 專案所使用的預訓練資料，透過 WebDataset 格式打包，並上傳至 Hugging Face 以便研究人員與開發者自由取用。
📂 Dataset 結構
本資料集分為 Training 與 Test 兩個子集，均以 WebDataset tar 檔案形式存放：
Training set (WebDataset format)
train/train-000000.tar
train/train-000001.tar
...
Test set (WebDataset format)
test/test-000000.tar
...
tsv set
train.tsv
test.tsv
...
每個 tar 內部均包含對應的音檔與標註，方便直接搭配 WebDataset 與 PyTorch / Hugging Face datasets 進行訓練與測試。
🏷️… See the full description on the dataset page: https://huggingface.co/datasets/adi-gov-tw/Taiwan-Tongues-ASR-CE-dataset-zhtw.news-collection-zhtw
Dataset Card for Traditional Chinese News Collection
Contains common news/magazines/articles available online in Traditional Chinese.
Provides title, text (content), and category for each sample.
Note: category is labeled according to the source of the news.
Cleaned with custom rules and de-deplicated using MinHash.
Dataset Details
Dataset size: 557,764 samples.
Available labels:
article
tech
science
daily-weekly
Dataset source:
benchang1110/technewstw… See the full description on the dataset page: https://huggingface.co/datasets/liswei/news-collection-zhtw.c4_pretrain_zhtw
Dataset Card for "yuhuanstudio/c4_pretrain_zhtw"
資料集摘要
本資料集基於 C4（Colossal Clean Crawled Corpus）原始數據，並經過以下處理步驟，轉換為適用於大型語言模型（LLM）預訓練的格式：
資料清理：去除非中文內容、重複文本及不必要的 HTML 標籤，並使用pangu格式化中文語句間隔，提升語言模型的訓練品質。
格式化：將數據重新整理為適合 LLM 預訓練的結構，便於高效載入與處理。
內容說明
數據來源：Colossal Clean Crawled Corpus (C4)
語言：繁體中文
資料格式：JSON 格式，適用於 LLM 預訓練
資料數量：包含大量經過清理和格式化的繁體中文文本
使用說明
此資料集適用於：
大型語言模型的預訓練
自然語言處理（NLP）研究
繁體中文語言理解與分析
資料集結構
{
"text": "台北故事館 雲門特展 As Lomo aslomo 天空部落 TIAN… See the full description on the dataset page: https://huggingface.co/datasets/yuhuanstudio/c4_pretrain_zhtw.common-crawl-zhtw
Dataset Card for Common Crawl Traditional Chinese
De-duplicated version of jed351/Traditional-Chinese-Common-Crawl-Filtered.
De-duplicated with MinHash
Is suggested to filter the dataset with NLU models before any serious use.
wikipedia-zhtw-filtered
Wikipedia-zhtw Filtered
此資料集使用 huggingface/datatrove 進行了系統性的資料清洗。
我們在清洗過程中應用了多種基於規則的過濾方法，移除許多過短、重複和含有噪聲的資料。
c4-zhtw
Dataset Card for C4-zhtw
Traditional Chinese subset of the C4 dataset.
De-duplicated with MinHash.
Is suggested to filter the dataset with NLU models before any serious use.
wikipedia-zhtw
Dataset Card for "wikipedia-zhtw"
維基百科數據集包含許多不同語言的文章。這個數據集是根據 Wikipedia dumps (https://dumps.wikimedia.org/) 裡頭 zhwiki 的中文下載檔案來建構的。每個範例都包含一篇完整的維基百科文章的內容，並經過清理以去除不需要的部分(例如參考文獻等)。
Homepage: https://dumps.wikimedia.org
zhwiki 下載點: https://dumps.wikimedia.org/zhwiki
數據 Dump 版本
由於維基百科數據集定期會進行網站數據拋轉，在 2023/10/10 的時間點去查看時會有下列的數據可供下載:
數據 Dump 目錄
拋轉時間點
20230620/
01-Aug-2023 09:31
20230701/
20-Aug-2023 09:41
20230720/
01-Sep-2023 09:31
20230801/
20-Sep-2023… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/wikipedia-zhtw.firefly-train-chinese-zhtw
Dataset Card for "firefly-train-chinese-zhtw"
資料集摘要
本資料集主要是應用於專案：Firefly（流螢）: 中文對話式大語言模型 ，經過訓練後得到的模型 firefly-1b4。
[Firefly（流螢）: 中文對話式大語言模型]專案(https://github.com/yangjianxin1/Firefly)收集了 23 個常見的中文資料集，并且對於每種不同的 NLP 任務，由人工書寫若干種指令模板來保證資料的高品質與豐富度。
資料量為115萬 。數據分佈如下圖所示:
訓練資料集的 token 長度分佈如下圖所示，絕大部分資料的長度都小於 600:
原始資料來源:
YeungNLP/firefly-train-1.1M
Firefly(流萤): 中文对话式大语言模型
資料下載清理
下載 chinese-poetry: 最全中文诗歌古典文集数据库 的 Repo
使用 OpenCC 來進行簡繁轉換
使用 Huggingface Datasets 來上傳至… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/firefly-train-chinese-zhtw.ivod-zhtw-10min-maps
IVOD zh-TW 10-min Extractive Meeting Summaries (MAP)
10-minute periodic meeting summaries in Traditional Chinese (Taiwan),
built as MAP targets for a map-reduce meeting summarizer:
MAP (this dataset, one bounded summary per 10-min window, ≤512 tokens) →
REDUCE (cloud model over map outputs at meeting end).
Source
Speech→transcript base: OpenFormosa/parliament (Taiwan Legislative Yuan
IVOD, ~1,286 h, embedded opus audio + transcripts). Gazette metadata from… See the full description on the dataset page: https://huggingface.co/datasets/Luigi/ivod-zhtw-10min-maps.zhtw-roleplay-space-grimoire
Space Grimoire RP Corpus (Traditional Chinese)
Speaker-attributed dialogue from the original novel 空間魔導書與少年魔法師 (The Space Grimoire and the Young Mage; 283 chapters, ~1.7M characters), cut into scenes and assembled into ShareGPT-style role-play training data. The novel and this dataset are the work of 睡半夜怎麼三更, who holds the copyright and has no exclusive platform agreement. Data: CC BY 4.0. Code: Apache 2.0.
中文說明在下方
Dataset Summary
Source text
283… See the full description on the dataset page: https://huggingface.co/datasets/asd567557275/zhtw-roleplay-space-grimoire.Honkai_StarRail_Trailblaze_Mission_zhtw
Dataset Card for "yuhuanstudio/Honkai_StarRail_Trailblaze_Mission_zhtw"
資料集摘要
摘要：一個採集崩壞：星穹鐵道開拓任務和開拓續聞對話內容的資料集，並處理成適當的資料格式用於預訓練大模型
來源：Bilibili Wiki - 崩壞：星穹鐵道
數據類型：劇情對話文本
格式：JSON
語言：繁體中文 / 簡體中文 (zhtw/zh)
資料範圍：包含所有「開拓任務」「開拓續聞」的劇情內容，包括角色對話、選項(第一選項)、場景描述等。 (v3.0)
資料集結構
missions為開拓任務，addition為開拓續聞，未加_tw為簡體原始數據
{
<!-- 預訓練資料集資料 -->
"text": "《「均衡」的試煉•陸》\n「仲裁官」的試煉再度到來。它的內容、形式、好處和損害你已經很清楚了，不是嗎？去吧，為了「均衡」……\n仙舟「羅浮」-流雲渡"
}
{
<!-- 擷取資料 -->
"title": "混亂行至深處",
"story": [… See the full description on the dataset page: https://huggingface.co/datasets/yuhuanstudio/Honkai_StarRail_Trailblaze_Mission_zhtw.multiturn_chat_0.8m-chinese-zhtw
Dataset Card for "multiturn_chat_0.8m-chinese-zhtw"
內容
包含約 80 萬條由 BELLE 專案所產生的 user 與 assistant 的多輪對話。
注意：此資料集是由 ChatGPT 產生的，未經嚴格校驗，內容可能包含錯誤。使用過程中請注意這一點。
限制和使用限制
我們要求開發者僅將我們開源的程式碼、資料、模型及後續衍生物用於研究目的，不得用於商業，以及其他會對社會帶來危害的用途。
由於數據是由ChatGPT產生的，未經嚴格驗證，在事實性和其他方面仍有一些不足之處。因此，在使用此資料集時，請務必注意甄別。
本資料集不代表任何一方的立場、利益或想法，無關任何團體的任何類型的主張。因使用本資料集帶來的任何損害、糾紛，本專案的開發者不承擔任何責任。
Multiturn Chat 0.8M
Contents
Includes approx. 0.8M Chinese multiturn dialogs between… See the full description on the dataset page: https://huggingface.co/datasets/benchang1110/multiturn_chat_0.8m-chinese-zhtw.zh-tw-pythia-ta8000-v1-e1-tr_wiki_sg-001-c1024
zh-tw-pythia-ta8000-v1-e1-tr_wiki_sg-001-c1024
This dataset is a part of the zh-tw-llm project.
Tokenizer: zh-tw-pythia-tokenizer-a8000-v1
Built with: translations, wikipedia, sharegpt
Rows: train 305956, test 225
Max length: 1024
Full config:{"build_with": ["translations", "wikipedia", "sharegpt"], "preview_length": 128, "translations_settings": {"source_dataset": "zetavg/coct-en-zh-tw-translations-twp-300k", "lang_1_key": "en", "lang_2_key": "ch", "templates": ["English:… See the full description on the dataset page: https://huggingface.co/datasets/zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_wiki_sg-001-c1024.drcd-zhtw-extractive-qa-sft
steven0226/drcd-zhtw-extractive-qa-sft
繁體中文抽取式閱讀理解 SFT 資料集，衍生自 DRCD（Delta Reading Comprehension Dataset）。
來源與授權（重要）
原始資料：DRCD（Delta Research Center / 台達電子），
授權 CC BY-SA 3.0，內容改編自繁體中文維基百科。
論文引用：Shao et al., "DRCD: a Chinese Machine Reading Comprehension Dataset", arXiv:1806.00920.
本資料集是 DRCD 的 Adaptation（改編作品），依 CC BY-SA 授權鏈條，以 CC BY-SA 4.0 釋出。
所做的修改
將原始 SQuAD 風格 JSON 重新格式化為 chat SFT 格式（system/user/assistant 三則訊息，assistant 輸出固定 JSON schema）
從… See the full description on the dataset page: https://huggingface.co/datasets/steven0226/drcd-zhtw-extractive-qa-sft.TCNNet-SFT-NetCom-zhTW-1.1M
[TCNNet] A Traditional Chinese Networking and Communication Instruction Fine-Tuning Dataset (zh-TW)
A large-scale supervised fine-tuning (SFT) dataset created specifically for TCNNet-9B, a Chinese language model specialized in networking and communications domains. The dataset contains question-answer pairs generated from various networking, cybersecurity, and tech review articles written in Traditional Chinese.
Dataset Description
Dataset Summary
This dataset… See the full description on the dataset page: https://huggingface.co/datasets/DataAgent/TCNNet-SFT-NetCom-zhTW-1.1M.PTT-pretrain-zhtw
Dataset Card for "yuhuanstudio/PTT-pretrain-zhtw"
資料集摘要
本資料集擷取自台灣最大的 BBS 討論區——批踢踢實業坊（PTT），匯集多個看板的歷史與近期討論，提供豐富的繁體中文語料，適用於大型語言模型（LLM）預訓練與自然語言處理（NLP）研究。
數據來源：PTT 批踢踢實業坊（https://www.ptt.cc）
涵蓋看板：包含 Gossiping、Tech_Job、Stock、NBA 等所有討論區
時間範圍：擷取自 PTT 公開存檔前200頁，涵蓋多年歷史數據 (因各版頁數問題，熱門版面資料可能時間都較為古老)
語言：繁體中文
資料格式：JSON，適合 LLM 訓練與 NLP 應用
資料規模：包含數十萬條貼文與回應
資料集結構
{
"text": "作者: Sonaten (=.=)\n看板: PC_Shopping\n標題: [閒聊] Gigabyte EP35-DS3 的DES...\n時間: Fri Jun 27 15:20:54 2008\n內文:… See the full description on the dataset page: https://huggingface.co/datasets/yuhuanstudio/PTT-pretrain-zhtw.