CoolFace
Modelpublic

SalahAbdoNLP/jina-v5-small-arabic-dict-v2-lora

sourceHugging Faceupdated 7mo agoView on Hugging Face
0likes
Model Card

SentenceTransformer based on jinaai/jina-embeddings-v5-text-small-retrieval

This is a sentence-transformers model finetuned from jinaai/jina-embeddings-v5-text-small-retrieval. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • —Model Type: Sentence Transformer
  • —Base model: jinaai/jina-embeddings-v5-text-small-retrieval <!-- at revision 42042f9f3c9d18b77d5ffd0ac6b462cc8b2608e0 -->
  • —Maximum Sequence Length: 512 tokens
  • —Output Dimensionality: 1024 dimensions
  • —Similarity Function: Cosine Similarity <!-- - Training Dataset: Unknown --> <!-- - Language: Unknown --> <!-- - License: Unknown -->

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'Qwen3Model'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

bash
pip install -U sentence-transformers

Then you can load this model and run inference.

python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("SalahAbdoNLP/jina-v5-small-arabic-dict-v2-lora")
# Run inference
queries = [
    "Query: \u0634\u064e\u064a\u0652\u0621 \u0645\u064f\u0633\u0652\u062a\u064e\u0642\u0650\u0644\u0651",
]
documents = [
    'Document: # (1) منفردًا؛ بمَعْزِل to live apart\n(2) على حدة Each argument was considered apart .\n(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]\n(4) بعيدًا بعضهم عن بعض Keep the children apart .\n(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]\n(6) مستقلّ؛ منفصل a class apart .\nto know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.\n\n## المورد الحديث (2008)\nEN: apart\n\n(1) منفردًا؛ بمَعْزِل to live apart\n(2) على حدة Each argument was considered apart .\n(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]\n(4) بعيدًا بعضهم عن بعض Keep the children apart .\n(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]\n(6) مستقلّ؛ منفصل a class apart .\nto know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.\n',
    'Document: # قرار فرديّ (جذر: قر)\n\n## المعجم الموحد لمصطلحات القانون (2017)\nEN: individual act\n',
    'Document: # كائِنٌ حَيّ (جذر: كن)\n\n## The Unified Medical Dictionary\n*المعجم الطبي الموحد (2009)*\nEN: bion\n\n## Civil Engineering\n*المعجم الموحد لمصطلحات الهندسة المدنية (2012)*\nEN: organism\n\n## Climate, Environment and Solid Waste management\n*مسرد المناخ والبيئة وإدارة النفايات الصلبة، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*\nEN: organism\n\nشكل من أشكال الحياة: نبات أو حيوان أو فطريات أو بكتيريا.\n\n## Climate, Environment and Solid Waste management\n*مسرد المناخ والبيئة وإدارة النفايات الصلبة، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*\nEN: organism\n\nنبات أو حيوان أو كائن وحيد الخلية أو أي شكل من أشكال الحياة، منظومة لها مكونات مترابطة ومتكاملة تمكن من تحقيق الاستمرارية عن طريق النمو والتكاتر.\n',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.2771, 0.2426, 0.2898]], dtype=torch.float16)

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Information Retrieval
MetricValue
cosine_accuracy@10.0357
cosine_accuracy@30.0357
cosine_accuracy@50.0357
cosine_accuracy@100.0357
cosine_precision@10.0357
cosine_precision@30.0119
cosine_precision@50.0071
cosine_precision@100.0036
cosine_recall@10.0357
cosine_recall@30.0357
cosine_recall@50.0357
cosine_recall@100.0357
cosine_ndcg@100.0357
cosine_mrr@100.0357
cosine_map@1000.0369

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

Unnamed Dataset
  • —Size: 13,980 training samples
  • —Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
  • —Approximate statistics based on the first 1000 samples: | | anchor | positive | negative | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 8 tokens</li><li>mean: 30.24 tokens</li><li>max: 56 tokens</li></ul> | <ul><li>min: 42 tokens</li><li>mean: 344.22 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 26 tokens</li><li>mean: 130.41 tokens</li><li>max: 512 tokens</li></ul> |
  • —Samples: | anchor | positive | negative | |:----------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>Query: كَيْنُونَة كِيَان — ما يُدرَك أو يُعرَف أو يُستدَلّ على وجوده المستقل، سواء أكان حيًّا أم غير حيّ</code> | <code>Document: # كيان (جذر: كن)<br><br>## Data and AI Glossary<br>معجم البيانات والذكاء الاصطناعي (2024)<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## Dictionary of Information Technology Terms<br>معجم مصطلحات المعلوماتية (2000)<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## Education<br>مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## Philosophy and Psychology<br>مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## Sociology and Anthropology<br>مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## The Unified Medical Dictionary<br>المعجم الطبي الموحد (2009)<br>EN: entity<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>معجم المصطلحات الطبية (ج.2، 2003)<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br><br>## Ahmad Mukhtar Umar, Muʿjam ...</code> | <code>Document: # (1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br><br><br>## Al-Mawrid Al-Hadeeth<br>المورد الحديث (2008)<br>EN: existence<br><br>(1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br></code> | | <code>Query: كَيْنُونَة كِيَان</code> | <code>Document: # كيان (جذر: كن)<br><br>## Data and AI Glossary<br>معجم البيانات والذكاء الاصطناعي (2024)<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## Dictionary of Information Technology Terms<br>معجم مصطلحات المعلوماتية (2000)<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## Education<br>مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## Philosophy and Psychology<br>مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## Sociology and Anthropology<br>مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## The Unified Medical Dictionary<br>المعجم الطبي الموحد (2009)<br>EN: entity<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>معجم المصطلحات الطبية (ج.2، 2003)<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br><br>## Ahmad Mukhtar Umar, Muʿjam ...</code> | <code>Document: # (1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br><br><br>## Al-Mawrid Al-Hadeeth<br>المورد الحديث (2008)<br>EN: existence<br><br>(1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br></code> | | <code>Query: ما يُدرَك أو يُعرَف أو يُستدَلّ على وجوده المستقل، سواء أكان حيًّا أم غير حيّ</code> | <code>Document: # كيان (جذر: كن)<br><br>## Data and AI Glossary<br>معجم البيانات والذكاء الاصطناعي (2024)<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## Dictionary of Information Technology Terms<br>معجم مصطلحات المعلوماتية (2000)<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## Education<br>مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## Philosophy and Psychology<br>مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## Sociology and Anthropology<br>مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## The Unified Medical Dictionary<br>المعجم الطبي الموحد (2009)<br>EN: entity<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>معجم المصطلحات الطبية (ج.2، 2003)<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br><br>## Ahmad Mukhtar Umar, Muʿjam ...</code> | <code>Document: # (1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br><br><br>## Al-Mawrid Al-Hadeeth<br>المورد الحديث (2008)<br>EN: existence<br><br>(1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br></code> |
  • —Loss: <code>MatryoshkaLoss</code> with these parameters:
json
  {
      "loss": "CachedMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          768,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1.0,
          1.0,
          1.0,
          1.0,
          1.0,
          1.0,
          1.0
      ],
      "n_dims_per_step": -1
  }

Evaluation Dataset

Unnamed Dataset
  • —Size: 4,536 evaluation samples
  • —Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
  • —Approximate statistics based on the first 1000 samples: | | anchor | positive | negative | |:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 15 tokens</li><li>mean: 29.28 tokens</li><li>max: 60 tokens</li></ul> | <ul><li>min: 49 tokens</li><li>mean: 283.27 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 29 tokens</li><li>mean: 131.25 tokens</li><li>max: 512 tokens</li></ul> |
  • —Samples: | anchor | positive | negative | |:-----------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>Query: شَيْء مُسْتَقِلّ — كيان مستقلّ قائم بذاته ومنفصل عن غيره</code> | <code>Document: # (1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br><br>## المورد الحديث (2008)<br>EN: apart<br><br>(1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br></code> | <code>Document: # كيان (جذر: كن)<br><br>## مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## معجم مصطلحات المعلوماتية (2000)<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## المعجم الطبي الموحد (2009)<br>EN: entity<br><br>## معجم البيانات والذكاء الاصطناعي (2024)<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br></code> | | <code>Query: شَيْء مُسْتَقِلّ</code> | <code>Document: # (1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br><br>## المورد الحديث (2008)<br>EN: apart<br><br>(1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br></code> | <code>Document: # كيان (جذر: كن)<br><br>## مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## معجم مصطلحات المعلوماتية (2000)<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## المعجم الطبي الموحد (2009)<br>EN: entity<br><br>## معجم البيانات والذكاء الاصطناعي (2024)<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br></code> | | <code>Query: كيان مستقلّ قائم بذاته ومنفصل عن غيره</code> | <code>Document: # (1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br><br>## المورد الحديث (2008)<br>EN: apart<br><br>(1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br></code> | <code>Document: # كيان (جذر: كن)<br><br>## مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## معجم مصطلحات المعلوماتية (2000)<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## المعجم الطبي الموحد (2009)<br>EN: entity<br><br>## معجم البيانات والذكاء الاصطناعي (2024)<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br></code> |
  • —Loss: <code>MatryoshkaLoss</code> with these parameters:
json
  {
      "loss": "CachedMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          768,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1.0,
          1.0,
          1.0,
          1.0,
          1.0,
          1.0,
          1.0
      ],
      "n_dims_per_step": -1
  }

Training Hyperparameters

Non-Default Hyperparameters
  • —num_train_epochs: 2
  • —learning_rate: 2e-05
  • —lr_scheduler_type: cosine
  • —warmup_steps: 0.1
  • —eval_strategy: epoch
  • —push_to_hub: True
  • —hub_model_id: SalahAbdoNLP/jina-v5-small-arabic-dict-v2-lora
  • —load_best_model_at_end: True
  • —batch_sampler: no_duplicates
All Hyperparameters

<details><summary>Click to expand</summary>

  • —per_device_train_batch_size: 8
  • —num_train_epochs: 2
  • —max_steps: -1
  • —learning_rate: 2e-05
  • —lr_scheduler_type: cosine
  • —lr_scheduler_kwargs: None
  • —warmup_steps: 0.1
  • —optim: adamwtorchfused
  • —optim_args: None
  • —weight_decay: 0.0
  • —adam_beta1: 0.9
  • —adam_beta2: 0.999
  • —adam_epsilon: 1e-08
  • —optim_target_modules: None
  • —gradient_accumulation_steps: 1
  • —average_tokens_across_devices: True
  • —max_grad_norm: 1.0
  • —label_smoothing_factor: 0.0
  • —bf16: False
  • —fp16: False
  • —bf16_full_eval: False
  • —fp16_full_eval: False
  • —tf32: None
  • —gradient_checkpointing: False
  • —gradient_checkpointing_kwargs: None
  • —torch_compile: False
  • —torch_compile_backend: None
  • —torch_compile_mode: None
  • —use_liger_kernel: False
  • —liger_kernel_config: None
  • —use_cache: False
  • —neftune_noise_alpha: None
  • —torch_empty_cache_steps: None
  • —auto_find_batch_size: False
  • —log_on_each_node: True
  • —logging_nan_inf_filter: True
  • —include_num_input_tokens_seen: no
  • —log_level: passive
  • —log_level_replica: warning
  • —disable_tqdm: False
  • —project: huggingface
  • —trackio_space_id: trackio
  • —eval_strategy: epoch
  • —per_device_eval_batch_size: 8
  • —prediction_loss_only: True
  • —eval_on_start: False
  • —eval_do_concat_batches: True
  • —eval_use_gather_object: False
  • —eval_accumulation_steps: None
  • —include_for_metrics: []
  • —batch_eval_metrics: False
  • —save_only_model: False
  • —save_on_each_node: False
  • —enable_jit_checkpoint: False
  • —push_to_hub: True
  • —hub_private_repo: None
  • —hub_model_id: SalahAbdoNLP/jina-v5-small-arabic-dict-v2-lora
  • —hub_strategy: every_save
  • —hub_always_push: False
  • —hub_revision: None
  • —load_best_model_at_end: True
  • —ignore_data_skip: False
  • —restore_callback_states_from_checkpoint: False
  • —full_determinism: False
  • —seed: 42
  • —data_seed: None
  • —use_cpu: False
  • —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
  • —parallelism_config: None
  • —dataloader_drop_last: False
  • —dataloader_num_workers: 0
  • —dataloader_pin_memory: True
  • —dataloader_persistent_workers: False
  • —dataloader_prefetch_factor: None
  • —remove_unused_columns: True
  • —label_names: None
  • —train_sampling_strategy: random
  • —length_column_name: length
  • —ddp_find_unused_parameters: None
  • —ddp_bucket_cap_mb: None
  • —ddp_broadcast_buffers: False
  • —ddp_backend: None
  • —ddp_timeout: 1800
  • —fsdp: []
  • —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
  • —deepspeed: None
  • —debug: []
  • —skip_memory_metrics: True
  • —do_predict: False
  • —resume_from_checkpoint: None
  • —warmup_ratio: None
  • —local_rank: -1
  • —prompts: None
  • —batch_sampler: no_duplicates
  • —multi_dataset_batch_sampler: proportional
  • —router_mapping: {}
  • —learning_rate_mapping: {}

</details>

Training Logs

EpochStepTraining LossValidation Lossjina-v5-small-eval_cosine_ndcg@10
0.0229209.2318--
0.0458407.1873--
0.0686603.9691--
0.0915801.8627--
0.11441001.9487--
0.13731201.2300--
0.16021401.8359--
0.18311602.2169--
0.20591803.8115--
0.22882004.0140--
0.25172204.9125--
0.27462407.1376--
0.29752609.3695--
0.320428010.6953--
0.343230017.7582--
0.366132024.4672--
0.38903400.0--
0.41193600.0--
0.43483800.0--
0.45774000.0--
0.48054200.0--
0.50344400.0--
0.52634600.0--
0.54924800.0--
0.57215000.0--
0.59505200.0--
0.61785400.0--
0.64075600.0--
0.66365800.0--
0.68656000.0--
0.70946200.0--
0.73236400.0--
0.75516600.0--
0.77806800.0--
0.80097000.0--
0.82387200.0--
0.84677400.0--
0.86967600.0--
0.89247800.0--
0.91538000.0--
0.93828200.0--
0.96118400.0--
0.98408600.0--
1.0874-nan0.0357
1.00698800.0--
1.02979000.0--
1.05269200.0--
1.07559400.0--
1.09849600.0--
1.12139800.0--
1.144210000.0--
1.167010200.0--
1.189910400.0--
1.212810600.0--
1.235710800.0--
1.258611000.0--
1.281511200.0--
1.304311400.0--
1.327211600.0--
1.350111800.0--
1.373012000.0--
1.395912200.0--
1.418812400.0--
1.441612600.0--
1.464512800.0--
1.487413000.0--
1.510313200.0--
1.533213400.0--
1.556113600.0--
1.578913800.0--
1.601814000.0--
1.624714200.0--
1.647614400.0--
1.670514600.0--
1.693414800.0--
1.716215000.0--
1.739115200.0--
1.762015400.0--
1.784915600.0--
1.807815800.0--
1.830716000.0--
1.853516200.0--
1.876416400.0--
1.899316600.0--
1.922216800.0--
1.945117000.0--
1.968017200.0--
1.990817400.0--
2.01748-nan0.0357
  • —The bold row denotes the saved checkpoint.

Framework Versions

  • —Python: 3.12.12
  • —Sentence Transformers: 5.3.0
  • —Transformers: 5.2.0
  • —PyTorch: 2.9.0+cu126
  • —Accelerate: 1.12.0
  • —Datasets: 4.7.0
  • —Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers
bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
MatryoshkaLoss
bibtex
@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}
CachedMultipleNegativesRankingLoss
bibtex
@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Model Card Contact

Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors. -->