izumi-lab/llm-japanese-dataset

llm-japanese-dataset LLM構築用の日本語インストラクション(チャット)データセット 主に，英語で構築されたLLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できます． ※様々な公開言語資源を利用させていただきました．関係各位にはこの場を借りて御礼申し上げます． updates 2023/5/15にAlpaca datasetがNCにライセンス変更されたことに対応し，安心してご利用いただけるように，データセットから当該データセットをドロップしました． v1.0.1にて，ドロップ後のデータセットをご利用いただけます． 2024/1/4にWikipedia summaryに空白文字のみで構成される出力を削除することに対応し，Wikipediaのバージョンアップデート(20240101)をしました(v1.0.2)． 2024/1/18にAsian Language Treebank… See the full description on the dataset page: https://huggingface.co/datasets/izumi-lab/llm-japanese-dataset.