hotchpotch/jaqket_v1_qa_wikija_context

⚠️ ! 注意 ! 公開したデータセットは、私の不注意で本来学習させる用途には相応しくない、JAQKET テスト用のデータセットも train に含んでしまっています。 そのため、以下のように再度テスト用のデータを分離してからの利用をお勧めします。 import datasets ds = datasets.load_dataset("hotchpotch/jaqket_v1_qa_wikija_context") train_ds = ds["train"] # type: ignore valid_ds = ds["validation"] # type: ignore # 大元の "hotchpotch/jaqket_v1_qa_wikija_context" の train / valid 分割方法がよくないので、再度分割する train_df = train_ds.to_pandas() valid_df = valid_ds.to_pandas() df = pd.concat([train_df, valid_df])… See the full description on the dataset page: https://huggingface.co/datasets/hotchpotch/jaqket_v1_qa_wikija_context.