CoolFace
Modelpublic

Shuu12121/CodeSearch-ModernBERT-Crow-Plus-1.0

sourceHugging Faceapache-2.0updated 1y agoView on Hugging Face
3likes85downloads
Model Card

Shuu12121/CodeSearch-ModernBERT-Crow-Plus-1.0 🐦‍⬛

このモデルは、Shuu12121/CodeModernBERT-Crow をベースにした Sentence Transformer モデルであり、PHPとGoのクリーン版データセットを新たに加えることで、さらに高精度な多言語コード検索を実現しています。 本バージョン（1.0）では、前バージョン (Crow-Plus) に対して若干の性能向上が確認されています。

This is an enhanced version of CodeSearch-ModernBERT-Crow-Plus, based on CodeModernBERT-Crow, incorporating clean PHP and Go datasets for improved multilingual code search performance.

開発者 (Developer): Shuu12121 ベースモデル (Base Model): Shuu12121/CodeModernBERT-Crow ライセンス (License): Apache-2.0

📊 評価 / Evaluation

本モデルは、内部評価として MTEB (Massive Text Embedding Benchmark) 相当の環境でテストされ、 前バージョンよりもさらに高い精度を達成しています。

CodeSearchNetRetrieval (標準版) 成績

メトリクススコア
nDCG@100.8946
Recall@100.9597
MAP@100.8731
MRR@100.8731

詳細スコア（抜粋）：

  • —ndcg_at_1: 0.8175
  • —ndcg_at_3: 0.8810
  • —ndcg_at_5: 0.8888
  • —recall_at_20: 0.9672
  • —recall_at_100: 0.9807
  • —recall_at_1000: 1.0
前バージョン (Crow-Plus) 比較で nDCG@10 がわずかに向上（+0.17pt）しており、より安定した高リコールが得られています。

COIRCodeSearchNetRetrieval 成績

メトリクススコア
nDCG@100.8001
Recall@100.8806
MAP@100.7742
MRR@100.7742

詳細スコア（抜粋）：

  • —ndcg_at_1: 0.7168
  • —ndcg_at_3: 0.7775
  • —ndcg_at_5: 0.7896
  • —recall_at_20: 0.9057
  • —recall_at_100: 0.9495
  • —recall_at_1000: 0.9782
こちらも、従来版より全体的に Recall 向上がみられ、特に Top-20、Top-100段階での検索精度に安定性が出ています。

モデル変更点 / Improvements

項目Crow-PlusCrow-Plus-1.0
学習データ従来データセットPHP・Goのクリーン版追加
COIR nDCG@100.79880.8001 (+0.13pt)
CodeSearchNet nDCG@100.89300.8946 (+0.16pt)
Recall@100.96100.9597 (ほぼ同等)
特徴標準構成データ品質向上による安定化
  • —MTEB公式には提出していないため、非公式記録です。

使い方 / How to Use

従来と同様に、sentence-transformersライブラリを用いて簡単に利用可能です。 （※詳しい使用例はベース版に準じますので省略）

python
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("Shuu12121/CodeSearch-ModernBERT-Crow-Plus-1.0")

注意事項 / Limitations

  • —関数レベルのコード検索に最適化されており、巨大なファイルや不完全コードには注意が必要です。
  • —クリーン版追加による改善はあくまで「一般傾向」であり、特定ドメインにおいては追加チューニングが効果的な場合もあります。
  • —本バージョンの結果はMTEB公式には提出されていないため、あくまで参考記録である点にご留意ください。

連絡先 / Contact

ご質問・フィードバックは、開発者 Shuu12121 までご連絡ください。 📧 shun0212114@outlook.jp