hotchpotch/sentence_transformer_japanese

日本語のデータセットを SentenceTransformes で学習しやすいカラム名と構造に変換したもの。 主に (anchor, positive), (anchor, positive, negative), (anchor, positive,&nbsp;negative_1, ..., negative_n) といった構造になっているため、とりわけ対照学習で使いやすくなっています。 以下のデータセットから作成 https://huggingface.co/datasets/hpprc/emb https://huggingface.co/datasets/hotchpotch/hpprc_emb-scores のリランカースコアを用いて、positive(>=0.7) / negative(<=0.3) のフィルタリングを行った https://huggingface.co/datasets/hpprc/llmjp-kaken https://huggingface.co/datasets/hpprc/msmarco-ja… See the full description on the dataset page: https://huggingface.co/datasets/hotchpotch/sentence_transformer_japanese.