llm-jp/llm-jp-longbench-NIILC

llm-jp-longbench-NIILC

llm-jp LongBench ベンチマークについて

このデータセットは，GitHub リポジトリ https://github.com/llm-jp/llm-jp-longbench で公開されているllm-jp LongBenchベンチマークの評価対象データセットの一部として構築されています。

llm-jp LongBench ベンチマークは，日本語大型言語モデル（LLM）の ロングコンテキスト処理能力を体系的に評価することを目的としており， 複数の長文コンテキスト QA データセットを含んでいます。

本データセットはその一つです。

データセット概要

本データセットは，日本語質問応答データセット NIILC （Sekine, 2003）を基に， 回答が一意に定まり，かつ時間によって正解が変化しない質問のみを選別し， それらに対応する Wikipedia 記事をコンテキストとして付与することで構築した， ロングコンテキスト QA 評価用データセットです。

LLMの長文コンテキスト下における日本語 QA 性能を評価することを目的としています。

元データセットと改変内容

元データセット

• —NIILC
• —質問応答システム研究のために構築された日本語 QA データセット
• —出典：Sekine (2003)

本データセットで行った改変

本データセットは NIILC を基にした派生データセットです。

以下の改変を行っています。

• —回答が一意に定まる質問のみを抽出
• —時間依存的に正解が変化しない質問のみを使用
• —各質問に対し，回答の根拠となる日本語 Wikipedia 記事を付与

派生物であるため，本データセットは CC BY-SA 4.0 ライセンスの下で公開されています。

データ構造

各サンプルは以下のカラムを持ちます。

主に以下のファイルで構成されています。

• —niilc_test_with_context.csv
• —niilc_dev_with_context.csv

使用例

from datasets import load_dataset

dataset = load_dataset("llm-jp/llm-jp-longbench-niilc")

参考文献

• —Satoshi Sekine. 2003. Development of a question answering system focused on an encyclopedia. 9th Annual Meeting of the Association for Natural Language Processing. (in Japanese)