zht
Datasets
All datasets matching “zht”finetranslations-edu-zhtw
Dataset Card for finetranslations-edu-zhtw
⚠️ 狀態：持續產出中（manual review） —— 本資料集正以背景流程持續翻譯、分批推送，尚未涵蓋上游全量資料，且尚未經過人工抽查驗證，使用前請自行評估品質與涵蓋範圍。
📖 finetranslations-edu-zhtw 是以 HuggingFaceFW/finetranslations-edu 為來源，將其 translated_chunks（原始多語言教育類網頁內容、先被 pivot 翻譯成英文的版本）進一步翻譯成繁體中文的資料集。
Dataset Details
Dataset Description
HuggingFaceFW/finetranslations-edu 收錄了原本以英文以外語言（og_language，涵蓋約 200 種語言）撰寫、經篩選具教育價值（edu_score）的網頁內容，並將其 pivot 翻譯成英文（translated_text /… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/finetranslations-edu-zhtw.ceval-exam-zhtw
Dataset Card for "ceval-exam-zhtw"
C-Eval 是一個針對基礎模型的綜合中文評估套件。它由 13,948 道多項選擇題組成，涵蓋 52 個不同的學科和四個難度級別。原始網站和 GitHub 或查看論文以了解更多詳細資訊。
C-Eval 主要的數據都是使用簡體中文來撰寫并且用來評測簡體中文的 LLM 的效能來設計的，本數據集使用 OpenCC 來進行簡繁的中文轉換，主要目的方便繁中 LLM 的開發與驗測。
下載
使用 Hugging Face datasets 直接載入資料集：
from datasets import load_dataset
dataset=load_dataset(r"erhwenkuo/ceval-exam-zhtw",name="computer_network")
print(dataset['val'][0])
# {'id': 0, 'question':… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/ceval-exam-zhtw.moss-003-sft-chinese-zhtw
Dataset Card for "moss-003-sft-chinese-zhtw"
資料集摘要
本資料集主要是應用於專案：MOSS: 開源對話語言模型 所收集的數據。
MOSS 是支援中英雙語和多種外掛程式的開源對話語言模型，moss-moon 系列模型具有160億參數，在FP16精度下可在單張A100/A800或兩張3090顯示卡運行，在INT4/8精度下可在單張3090顯示卡運行。 MOSS基座語言模型在約七千億中英文以及程式碼單字上預訓練得到，後續經過對話指令微調、插件增強學習和人類偏好訓練具備多輪對話能力及使用多種插件的能力。
原始資料來源
moss-003-sft-data: moss-moon-003-sft 所使用的多輪對話數據，基於 MOSS-002 內測階段採集的約10萬用戶輸入數據和 gpt-3.5-turbo 構造而成，相比 moss-002-sft-data，moss-003-sft-data… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/moss-003-sft-chinese-zhtw.zh-tw-wikipedia
台灣正體中文維基百科 (zh-tw Wikipedia)
截至 2023 年 5 月，中文維基百科 2,533,212 篇條目的台灣正體文字內容。每篇條目為一列 (row)，包含 HTML 以及 Markdown 兩種格式。
A nearly-complete collection of 2,533,212 Traditional Chinese (zh-tw) Wikipedia pages, gathered between May 1, 2023, and May 7, 2023. Includes both the original HTML format and an auto-converted Markdown version, which has been processed using vinta/pangu.py.
於 2023 年 5 月 1 日至 5 月 7 日間取自維基百科 action=query & prop=extracts API，內容皆與維基百科網站之台灣正體版本一致，沒有繁簡體混雜的問題。
For development… See the full description on the dataset page: https://huggingface.co/datasets/zetavg/zh-tw-wikipedia.tsinghua_novels_zhtwpretrain-chinese-zhtw
Dataset Card for "pretrain-chinese-zhtw"
More Information needed