mahiyama/quiz-works

mahiyama/quiz-works クイズワークス (https://quiz-works.com/) のクイズ Q&A を日本語版 Wikipedia パッセージで根拠付けした Open-domain QA データセットに、本リポ内で Hard Negative Mining と Cross-Encoder 蒸留スコア付与を実施した日本語 retrieval / 蒸留学習用データセット。 本リポに供給される (query, positive) ペアは、クイズワークス のクイズ問題文を query、 その短い正答 (例: 「青年海外協力隊」) を 日本語版 Wikipedia 全 passage コレクションへ 引き当てて取得した 根拠 passage 本文 を positive としたもの。短答テキストから passage 本文への引き当て (hydration) は別パイプラインで済んだ状態で入力されており、本リポでは それを起点に Hard Negative Mining と Cross-Encoder… See the full description on the dataset page: https://huggingface.co/datasets/mahiyama/quiz-works.