datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
ruri-dataset-reranker
Ruri-Dataset Reranker
Datasets used for training Ruri-Reranker.
Please refer to https://huggingface.co/datasets/hpprc/emb for individual datasets.
TestingDataset
SciReC: Diagnostic Evaluation of Relational Reasoning in Multimodal Scientific Conversations with Adaptive Interaction
This dataset contains multimodal question-answering examples grounded in
textbook figures. Records in the figure-grounded configurations are filtered to
include only examples whose referenced image files are present in this release.
Configurations
visual: 13791 figure-grounded visual questions with resolved images.
knowledge: 13501 caption/text-grounded… See the full description on the dataset page: https://huggingface.co/datasets/Naga1289/TestingDataset.auto-wiki-qa
AutoWikiQA
東工大が公開しているSwallow-MXを用いて、Wikipedia中のテキストを入力として「質問(query)」と「回答(answer)」を生成し、生成された質問と回答についてフィルタリングを行ったデータセットです。日本語のフリーなQAデータセットとしては2024年4月現在で最大規模となっています。
また、データの生成にはテンプレートなどのルールベース処理を入れていないため、既存データセットと比較して質問・回答の出力・形式が多様であることが特徴です。モデルに知識を教えるためのQAデータセットとしての利用や、検索拡張生成(Retrieval Augmented Generation: RAG)のための検索・埋め込みモデル開発への利用を想定しています。
Usage
import datasets as ds
dataset: ds.Dataset = ds.load_dataset("cl-nagoya/auto-wiki-qa", split="train")
print(dataset)
#… See the full description on the dataset page: https://huggingface.co/datasets/cl-nagoya/auto-wiki-qa.prompt-variations
Prompt Variations and LLM Responses
Prompt variants and model responses used to evaluate the
Stability-Generalization Score (SGS) across eleven LLMs (eight
open-source + three closed-source) on six QA / instruction benchmarks
under six families of stylistic perturbations.
Splits
split
rows
source dataset
truthful_qa
99,888
TruthfulQA
natural_questions
41,040
Natural Questions
alpaca
13,872
Alpaca
simpleqa_verified
13,872
SimpleQA Verified… See the full description on the dataset page: https://huggingface.co/datasets/naghamo/prompt-variations.