hpprc/mqa-ja

mqaデータセットのquery--passageのペアについて重複を削除したデータセットです。 元データ中のノイジーなテキストのクリーニングやNFKC正規化などの前処理を行ってあります。 dataset subsetのpos_idsおよびneg_ids中のidは、collectionsubsetのインデックス番号に対応しています。 したがって、collection[pos_id]のようにアクセスしてもらえれば所望のデータを得ることができます。 ライセンスは元データセットに従います。