kunishou/J-ResearchCorpus

J-ResearchCorpus Update: 2024/3/16言語処理学会第30回年次大会(NLP2024)を含む、論文 1,343 本のデータを追加 2024/2/25言語処理学会誌「自然言語処理」のうち CC-BY-4.0 で公開されている論文 360 本のデータを追加 概要 CC-BY-* ライセンスで公開されている日本語論文や学会誌等から抜粋した高品質なテキストのデータセットです。言語モデルの事前学習や RAG 等でご活用下さい。 今後も CC-BY-* ライセンスの日本語論文があれば追加する予定です。 データ説明 filename : 該当データのファイル名 text ： 日本語論文から抽出したテキストデータ category : データソース license : ライセンス credit : クレジット データソース・ライセンス テキスト総文字数 : 約 3,900 万文字 data source num… See the full description on the dataset page: https://huggingface.co/datasets/kunishou/J-ResearchCorpus.