hotchpotch/sentence_transformer_japanese

• —日本語のデータセットを SentenceTransformes で学習しやすいカラム名と構造に変換したもの。
• —主に (anchor, positive), (anchor, positive, negative), (anchor, positive, negative_1, ..., negative_n) といった構造になっているため、とりわけ対照学習で使いやすくなっています。
• —以下のデータセットから作成
• —https://huggingface.co/datasets/hpprc/emb
• —https://huggingface.co/datasets/hotchpotch/hpprc_emb-scores のリランカースコアを用いて、positive(>=0.7) / negative(<=0.3) のフィルタリングを行った
• —https://huggingface.co/datasets/hpprc/llmjp-kaken
• —https://huggingface.co/datasets/hpprc/msmarco-ja
• —https://huggingface.co/datasets/hotchpotch/msmarco-ja-hard-negatives のリランカースコアを用いて、positive(>=0.7) / negative(<=0.3) のフィルタリングを行った
• —https://huggingface.co/datasets/hpprc/mqa-ja
• —https://huggingface.co/datasets/hpprc/llmjp-warp-html

謝辞

大元のデータセットを公開している方々、日本語データセットを使いやすくまとめてくださっている @hpprc 氏、ありがとうございます。

ライセンス

ライセンスは、各々の大元のデータセットのライセンスに従います。