erhwenkuo/firefly-train-chinese-zhtw
Dataset Card for "firefly-train-chinese-zhtw" 資料集摘要 本資料集主要是應用於專案：Firefly（流螢）: 中文對話式大語言模型 ，經過訓練後得到的模型 firefly-1b4。 [Firefly（流螢）: 中文對話式大語言模型]專案(https://github.com/yangjianxin1/Firefly)收集了 23 個常見的中文資料集，并且對於每種不同的 NLP 任務，由人工書寫若干種指令模板來保證資料的高品質與豐富度。 資料量為115萬 。數據分佈如下圖所示: 訓練資料集的 token 長度分佈如下圖所示，絕大部分資料的長度都小於 600: 原始資料來源: YeungNLP/firefly-train-1.1M Firefly(流萤): 中文对话式大语言模型 資料下載清理 下載 chinese-poetry: 最全中文诗歌古典文集数据库 的 Repo 使用 OpenCC 來進行簡繁轉換 使用 Huggingface… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/firefly-train-chinese-zhtw.
Dataset Card for "firefly-train-chinese-zhtw"
資料集摘要
本資料集主要是應用於專案：Firefly（流螢）: 中文對話式大語言模型 ，經過訓練後得到的模型 firefly-1b4。
[Firefly（流螢）: 中文對話式大語言模型]專案(https://github.com/yangjianxin1/Firefly)收集了 23 個常見的中文資料集，并且對於每種不同的 NLP 任務，由人工書寫若干種指令模板來保證資料的高品質與豐富度。
資料量為115萬 。數據分佈如下圖所示:
訓練資料集的 token 長度分佈如下圖所示，絕大部分資料的長度都小於 600:
原始資料來源:
資料下載清理
- 下載 chinese-poetry: 最全中文诗歌古典文集数据库 的 Repo
- 使用 OpenCC 來進行簡繁轉換
- 使用 Huggingface Datasets 來上傳至 Huggingface Hub
資料集結構
{
"kind": "ClassicalChinese",
"input": "將下面句子翻譯成現代文：\n石中央又生一樹，高百餘尺，條幹偃陰為五色，翠葉如盤，花徑尺餘，色深碧，蕊深紅，異香成煙，著物霏霏。",
"target": "大石的中央長著一棵樹，一百多尺高，枝幹是彩色的，樹葉有盤子那樣大，花的直徑有一尺寬，花瓣深藍色，花中飄出奇異的香氣籠罩著周圍，如煙似霧。"
}資料欄位
kind: (string) 任務類別input: (string) 任務輸入target: (string) 任務輸入目標
如何使用
from datasets import load_dataset
dataset = load_dataset("erhwenkuo/firefly-train-chinese-zhtw", split="train")許可資訊
資料來源未定義許可資訊
引用
@misc{Firefly,
author = {Jianxin Yang},
title = {Firefly(流萤): 中文对话式大语言模型},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/yangjianxin1/Firefly}},
}