Modelpublic

Ducnt17/qwen3-embed-06b-tthc-lora-finetune

sourceHugging Faceupdated 17d agoView on Hugging Face

0likes37downloads

Model Card

SentenceTransformer based on unsloth/Qwen3-Embedding-0.6B

This is a sentence-transformers model finetuned from unsloth/Qwen3-Embedding-0.6B on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

—Model Type: Sentence Transformer
—Base model: unsloth/Qwen3-Embedding-0.6B
—Maximum Sequence Length: 1024 tokens
—Output Dimensionality: 1024 dimensions
—Similarity Function: Cosine Similarity
—Supported Modality: Text
—Training Dataset:
—json

Model Sources

—Documentation: Sentence Transformers Documentation
—Repository: Sentence Transformers on GitHub
—Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'max_seq_length': 1024, 'do_lower_case': False, 'architecture': 'PeftModelForFeatureExtraction'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

bash

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Ducnt17/qwen3-embed-06b-tthc-lora-finetune")
# Run inference
sentences = [
    'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:Tôi cần nộp mấy bản chính và bản sao cho hồ sơ đề nghị sửa đổi thông báo hoạt động bưu chính?',
    '# CHI TIẾT THỦ TỤC HÀNH CHÍNH\n## THÀNH PHẦN HỒ SƠ\n<table>\n  <tr>\n    <th colspan="3">Số lượng hồ sơ: 01 bộ là bản gốc</th>\n  </tr>\n  <tr>\n    <th>Tên giấy tờ</th>\n    <th>Mẫu đơn, tờ khai</th>\n    <th>Số lượng</th>\n  </tr>\n  <tr>\n    <td>- Tài liệu liên quan đến nội dung đề nghị sửa đổi, bổ sung văn bản xác nhận thông báo hoạt động bưu chính</td>\n    <td></td>\n    <td>1 bản chính, 1 bản sao</td>\n  </tr>\n  <tr>\n    <td>Giấy đề nghị cấp sửa đổi, bổ sung văn bản xác nhận thông báo hoạt động bưu chính</td>\n    <td></td>\n    <td>1 bản chính, 1 bản sao</td>\n  </tr>\n</table>',
    '# CHI TIẾT THỦ TỤC HÀNH CHÍNH\n## THÀNH PHẦN HỒ SƠ\n<table>\n  <tr>\n    <th>Tên giấy tờ</th>\n    <th>Mẫu đơn, tờ khai</th>\n    <th>Số lượng</th>\n  </tr>\n  <tr>\n    <td>2. Các giấy tờ chứng minh hoặc xác nhận thông tin sửa đổi.</td>\n    <td></td>\n    <td>1 bản chính</td>\n  </tr>\n  <tr>\n    <td>1. Đơn đề nghị sửa đổi Giấy đăng ký hoạt động theo Mẫu số 10 Phụ lục VIII của Nghị định này;</td>\n    <td>Mẫu số 10-PL08-Mau Don sua doi Giay dang ky hoat dong dich vu ho tro UDNLNT.docx</td>\n    <td>1 bản chính</td>\n  </tr>\n</table>',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.8395, 0.5433],
#         [0.8395, 1.0000, 0.6468],
#         [0.5433, 0.6468, 1.0000]])

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Information Retrieval

—Dataset: val_ir
—Evaluated with <code>InformationRetrievalEvaluator</code>

Metric	Value
cosine_accuracy@1	0.3291
cosine_accuracy@3	0.5254
cosine_accuracy@5	0.6088
cosine_accuracy@10	0.7133
cosine_precision@1	0.3291
cosine_precision@3	0.1761
cosine_precision@5	0.1223
cosine_precision@10	0.0716
cosine_recall@1	0.3284
cosine_recall@3	0.524
cosine_recall@5	0.6073
cosine_recall@10	0.7119
cosine_ndcg@10	0.5132
cosine_mrr@10	0.4509
cosine_map@100	0.4605

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

json

—Dataset: json
—Size: 18,569 training samples
—Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
—Approximate statistics based on the first 1000 samples: | | anchor | positive | negative | |:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 24 tokens</li><li>mean: 38.72 tokens</li><li>max: 62 tokens</li></ul> | <ul><li>min: 84 tokens</li><li>mean: 246.31 tokens</li><li>max: 463 tokens</li></ul> | <ul><li>min: 73 tokens</li><li>mean: 257.8 tokens</li><li>max: 533 tokens</li></ul> |
—Samples: | anchor | positive | negative | |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>Instruct: Given a web search query, retrieve relevant passages that answer the query Query:Thời gian tiếp nhận hồ sơ điều chỉnh cơ sở pha chế xăng dầu diễn ra vào những khung giờ nào?</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## TRÌNH TỰ THỰC HIỆN Bước 1: Tiếp nhận hồ sơ Thương nhân đầu mối có nhu cầu điều chỉnh, bổ sung cơ sở pha chế xăng dầu chuẩn bị đầy đủ hồ sơ gửi đến Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia. Thời gian tiếp nhận hồ sơ: Sáng từ 08 giờ đến 12 giờ và chiều từ 13 giờ đến 17 giờ vào ngày làm việc trong tuần (thứ bảy, chủ nhật và ngày lễ nghỉ). Bước 2: Xử lý Hồ sơ Trường hợp hồ sơ chưa đầy đủ, hợp lệ, trong vòng ba (03) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia có văn bản yêu cầu thương nhân bổ sung. Trường hợp hồ sơ đầy đủ, hợp lệ, trong vòng bảy (07) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia cấp Giấy chứng nhận đăng ký cơ sở pha chế xăng dầu. ...</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## TRÌNH TỰ THỰC HIỆN Tiếp nhận hồ sơ Tổ chức đề nghị điều chỉnh quyết định giữ chuẩn quốc gia, phê duyệt chuẩn quốc gia chuẩn bị đầy đủ hồ sơ theo quy định của Pháp luật Nộp hồ sơ trực tiếp tại Tổng cục Tiêu chuẩn Đo lường hoặc qua đường bưu điện Thời gian tiếp nhận hồ sơ: Sáng từ 08 giờ đến 12 giờ và chiều từ 13 giờ đến 17 giờ vào ngày làm việc trong tuần (thứ bảy, chủ nhật và ngày lễ nghỉ) Xử lý hồ sơ Lãnh đạo Tổng cục giao cho Vụ chuyên môn và Lãnh đạo Vụ chuyên môn sẽ giao cán bộ xử lý hồ sơ Cán bộ được giao xử lý hồ sơ xem xét tính hợp lệ của hồ sơ. ...</code> | | <code>Instruct: Given a web search query, retrieve relevant passages that answer the query Query:Thời gian tiếp nhận hồ sơ điều chỉnh cơ sở pha chế xăng dầu diễn ra vào những khung giờ nào?</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## TRÌNH TỰ THỰC HIỆN Bước 1: Tiếp nhận hồ sơ Thương nhân đầu mối có nhu cầu điều chỉnh, bổ sung cơ sở pha chế xăng dầu chuẩn bị đầy đủ hồ sơ gửi đến Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia. Thời gian tiếp nhận hồ sơ: Sáng từ 08 giờ đến 12 giờ và chiều từ 13 giờ đến 17 giờ vào ngày làm việc trong tuần (thứ bảy, chủ nhật và ngày lễ nghỉ). Bước 2: Xử lý Hồ sơ Trường hợp hồ sơ chưa đầy đủ, hợp lệ, trong vòng ba (03) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia có văn bản yêu cầu thương nhân bổ sung. Trường hợp hồ sơ đầy đủ, hợp lệ, trong vòng bảy (07) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia cấp Giấy chứng nhận đăng ký cơ sở pha chế xăng dầu. ...</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## THÀNH PHẦN HỒ SƠ ... uất xứ các nguyên liệu, phụ gia dùng trong quá trình pha chế các loại xăng dầu thành phẩm; + Năng lực phòng thử nghiệm hiện có tại cơ sở pha chế; + Kế hoạch kiểm soát chất lượng xăng dầu pha chế. - Bản sao Đăng ký kế hoạch pha chế nguyên liệu thành phẩm xăng dầu, nhập khẩu nguyên liệu để pha chế thành phẩm xăng dầu; - Đơn đăng ký cơ sở pha chế xăng dầu; ĐĂNG KÝ CƠ SỞ PHA CHẾ XĂNG DẦU.doc 1 bản sao 1 bản chính</code> | | <code>Instruct: Given a web search query, retrieve relevant passages that answer the query Query:Thời gian tiếp nhận hồ sơ điều chỉnh cơ sở pha chế xăng dầu diễn ra vào những khung giờ nào?</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## TRÌNH TỰ THỰC HIỆN Bước 1: Tiếp nhận hồ sơ Thương nhân đầu mối có nhu cầu điều chỉnh, bổ sung cơ sở pha chế xăng dầu chuẩn bị đầy đủ hồ sơ gửi đến Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia. Thời gian tiếp nhận hồ sơ: Sáng từ 08 giờ đến 12 giờ và chiều từ 13 giờ đến 17 giờ vào ngày làm việc trong tuần (thứ bảy, chủ nhật và ngày lễ nghỉ). Bước 2: Xử lý Hồ sơ Trường hợp hồ sơ chưa đầy đủ, hợp lệ, trong vòng ba (03) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia có văn bản yêu cầu thương nhân bổ sung. Trường hợp hồ sơ đầy đủ, hợp lệ, trong vòng bảy (07) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia cấp Giấy chứng nhận đăng ký cơ sở pha chế xăng dầu. ...</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## CÁCH THỨC THỰC HIỆN ... Tiếp nhận và xét tính hợp lệ của hồ sơ đề nghị sửa đổi, bổ sung giấy phép trong thời hạn 08 ngày làm việc kể từ ngày nhận được hồ sơ. - 12 ngày làm việc kể từ ngày kết thúc thời hạn xét tính hợp lệ của hồ sơ đối với trường hợp sửa đổi, bổ sung giấy phép khi thay đổi tên tổ chức được cấp phép. - 35 ngày kể từ ngày kết thúc thời hạn xét tính hợp lệ của hồ sơ đối với trường hợp sửa đổi, bổ sung giấy phép khi thay đổi vị trí lắp đặt tuyến cáp trong vùng biển Việt Nam. <table> <tr> <th>Trực tiếp</th> <th>43 ngày</th> <th>Miễn phí, 500.000 VNĐ</th> <th> - Tiếp nhận và xét tính hợp lệ của hồ sơ đề nghị sửa đổi, bổ sung giấy phép trong thời hạn 08 ngày làm việc kể từ ngày nhận được hồ sơ. - 12 ngày làm việc kể từ ngày kết thúc thời hạn xét tính hợp lệ của hồ sơ đối với trường hợp sửa đổi, bổ sung giấy phép khi thay đổi tên tổ chức được cấp phép. </th> </tr> </table> ...</code> |
—Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

json

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }

Evaluation Dataset

json

—Dataset: json
—Size: 2,112 evaluation samples
—Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
—Approximate statistics based on the first 1000 samples: | | anchor | positive | negative | |:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 25 tokens</li><li>mean: 39.47 tokens</li><li>max: 59 tokens</li></ul> | <ul><li>min: 95 tokens</li><li>mean: 259.72 tokens</li><li>max: 428 tokens</li></ul> | <ul><li>min: 77 tokens</li><li>mean: 256.8 tokens</li><li>max: 496 tokens</li></ul> |
—Samples: | anchor | positive | negative | |:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>Instruct: Given a web search query, retrieve relevant passages that answer the query Query:Hồ sơ đăng ký cơ sở pha chế xăng dầu đầy đủ và hợp lệ sẽ được cấp giấy chứng nhận trong bao lâu?</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## TRÌNH TỰ THỰC HIỆN Bước 1: Tiếp nhận hồ sơ Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia tiếp nhận hồ sơ đăng ký cơ sở pha chế xăng dầu của thương nhân đầu mối kinh doanh xăng dầu. Thời gian tiếp nhận hồ sơ: Sáng từ 08 giờ đến 12 giờ và chiều từ 13 giờ đến 17 giờ vào ngày làm việc trong tuần (thứ bảy, chủ nhật và ngày lễ nghỉ). Bước 2: Xử lý Hồ sơ Trường hợp hồ sơ chưa đầy đủ, hợp lệ, trong vòng ba (03) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, Tổng cục Tiêu chuẩn Đo lường Chất lượng có văn bản yêu cầu thương nhân bổ sung. Trường hợp hồ sơ đầy đủ, hợp lệ, trong vòng bảy (07) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, TỦY ban Tiêu chuẩn Đo lường Chất lượng Quốc gia cấp Giấy chứng nhận đăng ký cơ sở pha chế xăng dầu. ...</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## THÀNH PHẦN HỒ SƠ ... uất xứ các nguyên liệu, phụ gia dùng trong quá trình pha chế các loại xăng dầu thành phẩm; + Năng lực phòng thử nghiệm hiện có tại cơ sở pha chế; + Kế hoạch kiểm soát chất lượng xăng dầu pha chế. - Đơn đăng ký cơ sở pha chế xăng dầu; ĐĂNG KÝ CƠ SỞ PHA CHẾ XĂNG DẦU.doc 1 bản chính - Bản sao Đăng ký kế hoạch pha chế nguyên liệu thành phẩm xăng dầu, nhập khẩu nguyên liệu để pha chế thành phẩm xăng dầu; 1 bản sao</code> | | <code>Instruct: Given a web search query, retrieve relevant passages that answer the query Query:Hồ sơ đăng ký cơ sở pha chế xăng dầu đầy đủ và hợp lệ sẽ được cấp giấy chứng nhận trong bao lâu?</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## TRÌNH TỰ THỰC HIỆN Bước 1: Tiếp nhận hồ sơ Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia tiếp nhận hồ sơ đăng ký cơ sở pha chế xăng dầu của thương nhân đầu mối kinh doanh xăng dầu. Thời gian tiếp nhận hồ sơ: Sáng từ 08 giờ đến 12 giờ và chiều từ 13 giờ đến 17 giờ vào ngày làm việc trong tuần (thứ bảy, chủ nhật và ngày lễ nghỉ). Bước 2: Xử lý Hồ sơ Trường hợp hồ sơ chưa đầy đủ, hợp lệ, trong vòng ba (03) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, Tổng cục Tiêu chuẩn Đo lường Chất lượng có văn bản yêu cầu thương nhân bổ sung. Trường hợp hồ sơ đầy đủ, hợp lệ, trong vòng bảy (07) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, TỦY ban Tiêu chuẩn Đo lường Chất lượng Quốc gia cấp Giấy chứng nhận đăng ký cơ sở pha chế xăng dầu. ...</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## TRÌNH TỰ THỰC HIỆN Trong thời hạn 03 ngày làm việc, kể từ khi nhận được hồ sơ đầy đủ và hợp lệ, Bộ Khoa học và Công nghệ chịu trách nhiệm cấp lại Giấy chứng nhận đăng ký hoạt động chứng nhận Halal cho tổ chức chứng nhận Bộ Khoa học và Công nghệ thông báo và nêu rõ lý do.</code> | | <code>Instruct: Given a web search query, retrieve relevant passages that answer the query Query:Hồ sơ đăng ký cơ sở pha chế xăng dầu đầy đủ và hợp lệ sẽ được cấp giấy chứng nhận trong bao lâu?</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## TRÌNH TỰ THỰC HIỆN Bước 1: Tiếp nhận hồ sơ Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia tiếp nhận hồ sơ đăng ký cơ sở pha chế xăng dầu của thương nhân đầu mối kinh doanh xăng dầu. Thời gian tiếp nhận hồ sơ: Sáng từ 08 giờ đến 12 giờ và chiều từ 13 giờ đến 17 giờ vào ngày làm việc trong tuần (thứ bảy, chủ nhật và ngày lễ nghỉ). Bước 2: Xử lý Hồ sơ Trường hợp hồ sơ chưa đầy đủ, hợp lệ, trong vòng ba (03) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, Tổng cục Tiêu chuẩn Đo lường Chất lượng có văn bản yêu cầu thương nhân bổ sung. Trường hợp hồ sơ đầy đủ, hợp lệ, trong vòng bảy (07) ngày làm việc kể từ ngày tiếp nhận hồ sơ của thương nhân đầu mối, TỦY ban Tiêu chuẩn Đo lường Chất lượng Quốc gia cấp Giấy chứng nhận đăng ký cơ sở pha chế xăng dầu. ...</code> | <code># CHI TIẾT THỦ TỤC HÀNH CHÍNH ## TRÌNH TỰ THỰC HIỆN ... Trong thời hạn 07 ngày làm việc, kể từ khi nhận được hồ sơ, Bộ Khoa học và Công nghệ xem xét cấp Giấy chứng nhận đăng ký hoạt động chứng nhận Halal cho tổ chức chứng nhận theo Mẫu số 10 tại Phụ lục ban hành kèm theo Nghị định số 22/2026/NĐ-CP. Trước khi Giấy chứng nhận hết thời hạn hiệu lực 60 ngày, nếu có nhu cầu tiếp tục tham gia hoạt động chứng nhận Halal, tổ chức chứng nhận phải lập 01 bộ hồ sơ như đối với trường hợp cấp mới quy định tại khoản 1 Điều 12 Nghị định số 127/2026/NĐ-CP. Trường hợp chuyên gia đánh giá của tổ chức chứng nhận có hồ sơ tại các lần đăng ký cấp trước đó vẫn đáp ứng điều kiện quy định tại Nghị định số 127/2026/NĐ-CP, tổ chức chứng nhận có văn bản gửi kèm theo bảo lưu hồ sơ nhân sự của chuyên gia đánh giá, không phải nộp các chứng chỉ, tài liệu liên quan đối với mỗi chuyên gia đánh giá theo quy định tại điểm b khoản 1 Điều 12 Nghị định số 127/2026/NĐ-CP.</code> |
—Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

json

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }

Training Hyperparameters

Non-Default Hyperparameters

—per_device_train_batch_size: 64
—per_device_eval_batch_size: 64
—gradient_accumulation_steps: 4
—learning_rate: 3e-05
—num_train_epochs: 2
—lr_scheduler_type: cosine
—warmup_ratio: 0.05
—fp16: True
—batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

—overwrite_output_dir: False
—do_predict: False
—prediction_loss_only: True
—per_device_train_batch_size: 64
—per_device_eval_batch_size: 64
—per_gpu_train_batch_size: None
—per_gpu_eval_batch_size: None
—gradient_accumulation_steps: 4
—eval_accumulation_steps: None
—torch_empty_cache_steps: None
—learning_rate: 3e-05
—weight_decay: 0.0
—adam_beta1: 0.9
—adam_beta2: 0.999
—adam_epsilon: 1e-08
—max_grad_norm: 1.0
—num_train_epochs: 2
—max_steps: -1
—lr_scheduler_type: cosine
—lr_scheduler_kwargs: {}
—warmup_ratio: 0.05
—warmup_steps: 0
—log_level: passive
—log_level_replica: warning
—log_on_each_node: True
—logging_nan_inf_filter: True
—save_safetensors: True
—save_on_each_node: False
—save_only_model: False
—restore_callback_states_from_checkpoint: False
—no_cuda: False
—use_cpu: False
—use_mps_device: False
—seed: 42
—data_seed: None
—jit_mode_eval: False
—use_ipex: False
—bf16: False
—fp16: True
—fp16_opt_level: O1
—half_precision_backend: auto
—bf16_full_eval: False
—fp16_full_eval: False
—tf32: None
—local_rank: 0
—ddp_backend: None
—tpu_num_cores: None
—tpu_metrics_debug: False
—debug: []
—dataloader_drop_last: False
—dataloader_num_workers: 0
—dataloader_prefetch_factor: None
—past_index: -1
—disable_tqdm: False
—remove_unused_columns: True
—label_names: None
—load_best_model_at_end: False
—ignore_data_skip: False
—fsdp: []
—fsdp_min_num_params: 0
—fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
—fsdp_transformer_layer_cls_to_wrap: None
—accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
—parallelism_config: None
—deepspeed: None
—label_smoothing_factor: 0.0
—optim: adamwtorchfused
—optim_args: None
—adafactor: False
—group_by_length: False
—length_column_name: length
—ddp_find_unused_parameters: None
—ddp_bucket_cap_mb: None
—ddp_broadcast_buffers: False
—dataloader_pin_memory: True
—dataloader_persistent_workers: False
—skip_memory_metrics: True
—use_legacy_prediction_loop: False
—push_to_hub: False
—resume_from_checkpoint: None
—hub_model_id: None
—hub_strategy: every_save
—hub_private_repo: None
—hub_always_push: False
—hub_revision: None
—gradient_checkpointing: False
—gradient_checkpointing_kwargs: None
—include_inputs_for_metrics: False
—include_for_metrics: []
—eval_do_concat_batches: True
—fp16_backend: auto
—push_to_hub_model_id: None
—push_to_hub_organization: None
—mp_parameters:
—auto_find_batch_size: False
—full_determinism: False
—torchdynamo: None
—ray_scope: last
—ddp_timeout: 1800
—torch_compile: False
—torch_compile_backend: None
—torch_compile_mode: None
—include_tokens_per_second: False
—include_num_input_tokens_seen: False
—neftune_noise_alpha: None
—optim_target_modules: None
—batch_eval_metrics: False
—eval_on_start: False
—use_liger_kernel: False
—liger_kernel_config: None
—eval_use_gather_object: False
—average_tokens_across_devices: False
—prompts: None
—batch_sampler: no_duplicates
—multi_dataset_batch_sampler: proportional
—router_mapping: {}
—learning_rate_mapping: {}

</details>

Training Logs

Epoch	Step	Training Loss	Validation Loss	val_ir_cosine_ndcg@10
0.2749	20	1.9703	1.4689	0.4688
0.5498	40	1.5028	1.2546	0.4920
0.8247	60	1.3173	1.1945	0.5055
1.0962	80	1.2132	1.1539	0.5029
1.3711	100	1.1606	1.1426	0.5117
1.6460	120	1.1198	1.1333	0.5122
1.9210	140	1.0948	1.1341	0.5132

Training Time

—Training: 3.4 hours

Framework Versions

—Python: 3.12.13
—Sentence Transformers: 5.4.1
—Transformers: 4.56.2
—PyTorch: 2.10.0+cu128
—Accelerate: 1.13.0
—Datasets: 4.3.0
—Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Model Card Contact

Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors. -->