CoolFace
Modelpublic

cl-nagoya/ruri-reranker-large

sourceHugging Faceapache-2.0updated 1y agoView on Hugging Face
12likes895downloads
Model Card

Ruri-Reranker: Japanese General Reranker

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

bash
pip install -U sentence-transformers

Then you can load this model and run inference.

python
from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cl-nagoya/ruri-reranker-large")

inputs = [
    [
        "瑠璃色はどんな色?",
        "瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略号 dp-pB)と定義している[1][2]。",
    ],
    [
        "瑠璃色はどんな色?",
        "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
    ],
    [
        "ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
        "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
    ],
    [
        "ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
        "瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略号 dp-pB)と定義している[1][2]。",
    ],
]

scores = model.predict(inputs)
print(scores)
# [0.99999535 0.7374149  0.9970592  0.00682232]

result = model.rank(
    query="瑠璃色はどんな色?",
    documents=[
        "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
        "瑠璃、または琉璃(るり)は、仏教の七宝の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
        "瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略号 dp-pB)と定義している[1][2]。",
    ],
)
print(result)
# [
#    {'corpus_id': 2, 'score': 0.99999535},
#    {'corpus_id': 1, 'score': 0.97759527},
#    {'corpus_id': 0, 'score': 0.73741615},
# ]

Benchmarks

Model#Param.(w/o Emb.)JQaRAJaCWIRMIRACL
hotchpotch/japanese-reranker-cross-encoder-xsmall-v1107M(11M)61.493.890.6
hotchpotch/japanese-reranker-cross-encoder-small-v1118M(21M)62.593.992.2
hotchpotch/japanese-reranker-cross-encoder-base-v1111M(86M)67.193.493.3
hotchpotch/japanese-reranker-cross-encoder-large-v1337M(303M)71.093.691.5
hotchpotch/japanese-bge-reranker-v2-m3-v1568M(303M)69.293.794.7
BAAI/bge-reranker-v2-m3568M(303M)67.393.494.9
Ruri-Reranker-Small68M(43M)64.592.692.3
Ruri-Reranker-Base111M(86M)74.393.595.6
**Ruri-Reranker-Large** (this model)337M(303M)77.194.196.1

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: cl-nagoya/ruri-reranker-stage1-large
  • Maximum Sequence Length: 512 tokens
  • Language: Japanese
  • License: Apache 2.0
  • Paper: https://arxiv.org/abs/2409.07737

Training Details

Framework Versions

  • Python: 3.10.13
  • Sentence Transformers: 3.0.0
  • Transformers: 4.41.2
  • PyTorch: 2.3.1+cu118
  • Accelerate: 0.30.1
  • Datasets: 2.19.1
  • Tokenizers: 0.19.1

<!-- ## Citation

BibTeX

-->

License

This model is published under the Apache License, Version 2.0.