umiyuki/JDocQA_SingleImage_200

JDocQASingleImage200 Dataset

Dataset Summary

JDocQA_SingleImage_200は、shunk031/JDocQAのtestサブセットを基に作成されたデータセットで、PDFファイルを200dpiの画像に変換し、画像が取得できない設問と複数画像が必要な設問を除外しています。さらに計測時間短縮のために各設問形式毎に50問、計200問に絞りました。元のデータセットが37GBと大きすぎるため、サイズを削減しつつ実用性を保つことを目的としています。

• —元データ: shunk031/JDocQA (test split, 1,176 instances)
• —変換後: PDFを画像に置き換え、画像が取得できてかつ単一画像入力の設問のみを含む。さらに各設問形式毎に先頭から50問ずつに絞る。
• —言語: 日本語 (BCP-47 ja-JP)

Data Fields

• —input_text: 質問テキスト
• —question_id: ユニークなID
• —answer: 回答
• —answer_type: 回答タイプ（0: Yes/No, 1: Factoid, 2: Numerical, 3: Open-ended）
• —image: 200dpiのPNG画像（バイト形式）
• —pdf_filepath: 元のPDFファイルパス（デバッグ用）
• —question_page_number: 質問に関連するページ番号（デバッグ用）

Usage

from datasets import load_dataset
dataset = load_dataset("your_username/JDocQA_Image", split="test")

Additional Information

Dataset Curators

[More Information Needed] <!-- List the people involved in collecting the dataset and their affiliation(s). If funding information is known, include it here. -->

Licensing Information

From JDocQA's README.md:

JDocQA dataset annotations are distributed under CC BY-SA 4.0. We are delighted to see many derivations from JDocQA! When you create any derivations, e.g., datasets, papers, etc, from JDocQA, please cite our paper accordingly. If your derivations are web-based projects, please cite our paper and include the link to this github page.

Citation Information

@inproceedings{onami2024jdocqa,
  title={JDocQA: Japanese Document Question Answering Dataset for Generative Language Models},
  author={Onami, Eri and Kurita, Shuhei and Miyanishi, Taiki and Watanabe, Taro},
  booktitle={Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)},
  pages={9503--9514},
  year={2024}
}

Contributions

Thanks to @mizuumi and @shunk031 for creating this dataset.