hotchpotch/japanese-splade-v1-hard-negatives

日本語 SPLADE v2 の学習に用いたデータセットです。 SPLADE モデルである hotchpotch/japanese-splade-base-v1-mmarco-only, japanese-splade-base-v1_5 を用いてハードネガティブマイニングを行なっています。また BAAI/bge-reranker-v2-m3 を用いたリランカースコアを付与しています。 mqa, mmarco はhpprc/emb のデータを用いています。 mqa の query 作成には MinHash を用い約40万件になるようフィルタしました。 msmarco-ja は hpprc/msmarco-jaのデータを用いています。 ライセンスは、各データセットのライセンスを継承します。