izumi-lab/llm-japanese-dataset-vanilla

llm-japanese-dataset-vanilla LLM構築用の日本語チャットデータセット izumi-lab/llm-japanese-dataset から，日英翻訳のデータセット等を抜いたものです． 主に，日本語LLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できます． ※様々な公開言語資源を利用させていただきました．関係各位にはこの場を借りて御礼申し上げます． データの詳細 データの詳細は，izumi-lab/llm-japanese-dataset に関する，以下の論文を参照してください． 日本語: https://jxiv.jst.go.jp/index.php/jxiv/preprint/view/383 英語: https://arxiv.org/abs/2305.12720 GitHub: https://github.com/masanorihirano/llm-japanese-dataset 最新情報:… See the full description on the dataset page: https://huggingface.co/datasets/izumi-lab/llm-japanese-dataset-vanilla.