Turbo-AI/gte-base-v0__trim_vocab-1024

SentenceTransformer based on Turbo-AI/gte-multilingual-base_trimvocab

This is a sentence-transformers model finetuned from Turbo-AI/gte-multilingual-base__trim_vocab. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• —Model Type: Sentence Transformer
• —Base model: Turbo-AI/gte-multilingual-base__trim_vocab <!-- at revision b49c5d1f2703a4f4725bcd54c2307348ae6b2381 -->
• —Maximum Sequence Length: 1024 tokens
• —Output Dimensionality: 768 tokens
• —Similarity Function: Cosine Similarity <!-- - Training Dataset: Unknown --> <!-- - Language: Unknown --> <!-- - License: Unknown -->

Model Sources

• —Documentation: Sentence Transformers Documentation
• —Repository: Sentence Transformers on GitHub
• —Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Turbo-AI/gte-base-v0__trim_vocab-1024")
# Run inference
sentences = [
    'Trách nhiệm của nhân viên quản lý chất lượng tại phòng xét nghiệm trong quản lý chất lượng bệnh viện đa khoa được quy định ra sao?',
    'Trách nhiệm của nhân viên quản lý chất lượng tại phòng xét nghiệm\n1. Tổng hợp, tham mưu cho trưởng phòng xét nghiệm trong triển khai các nội dung về quản lý chất lượng xét nghiệm.\n2. Xây dựng kế hoạch và nội dung quản lý chất lượng xét nghiệm của phòng, trình lãnh đạo phòng xét nghiệm xem xét, quyết định để trình lãnh đạo cơ sở khám bệnh, chữa bệnh xem xét, phê duyệt.\n3. Tổ chức thực hiện chương trình nội kiểm và tham gia chương trình ngoại kiểm để theo dõi, giám sát, đánh giá chất lượng công tác xét nghiệm và phát hiện, đề xuất giải pháp can thiệp kịp thời nhằm quản lý những trường hợp sai sót, có nguy cơ sai sót trong các quy trình xét nghiệm.\n4. Thu thập, tổng hợp, phân tích dữ liệu, quản lý và bảo mật thông tin liên quan đến hoạt động phòng xét nghiệm.\n5. Phối hợp và hỗ trợ các khoa hoặc phòng liên quan khác trong việc triển khai quản lý chất lượng xét nghiệm.\n6. Tổng kết, báo cáo định kỳ hằng tháng, quý và năm về hoạt động và kết quả quản lý chất lượng xét nghiệm với trưởng phòng xét nghiệm, trưởng phòng (hoặc tổ trưởng) quản lý chất lượng bệnh viện và lãnh đạo cơ sở khám bệnh, chữa bệnh.\n7. Là đầu mối tham mưu để thực hiện các công việc liên quan với các tổ chức đánh giá, cấp chứng nhận phòng xét nghiệm đạt tiêu chuẩn quốc gia hoặc tiêu chuẩn quốc tế.',
    '1. Phòng tiếp khách đối ngoại tại trụ sở cơ quan đại diện, văn phòng trực thuộc hay nhà riêng có quốc kỳ Việt Nam và treo ảnh hoặc đặt tượng Chủ tịch Hồ Chí Minh phía sau nơi ngồi tiếp khách của người chủ trì tiếp khách.\n2. Treo ảnh hoặc đặt tượng Chủ tịch Hồ Chí Minh ở chính giữa, quốc kỳ Việt Nam treo trên cột cờ đặt phía bên trái ảnh hoặc tượng nếu nhìn từ phía đối diện. Đỉnh của ảnh hoặc tượng Chủ tịch Hồ Chí Minh không cao hơn đỉnh ngôi sao vàng trong quốc kỳ Việt Nam khi treo trên cột cờ. (Xem hình 5 trong Phụ lục).',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Information Retrieval

• —Evaluated with <code>InformationRetrievalEvaluator</code>

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

Unnamed Dataset

• —Size: 609,413 training samples
• —Columns: <code>anchor</code> and <code>positive</code>
• —Approximate statistics based on the first 1000 samples: | | anchor | positive | |:--------|:----------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------| | type | string | string | | details | <ul><li>min: 8 tokens</li><li>mean: 25.66 tokens</li><li>max: 74 tokens</li></ul> | <ul><li>min: 26 tokens</li><li>mean: 265.94 tokens</li><li>max: 1024 tokens</li></ul> |
• —Samples: | anchor | positive | |:---------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>Việc tuần tra, canh gác bảo vệ đê Điều trong mùa lũ được thực hiện như thế nào?</code> | <code>Thông tư này hướng dẫn tuần tra, canh gác bảo vệ đê Điều trong mùa lũ đối với các tuyến đê sông được phân loại, phân cấp theo quy định tại Điều 4 của Luật Đê Điều.</code> | | <code>Cách thức bảo vệ tuyến đê sông trong mùa lũ được quy định như thế nào?</code> | <code>Thông tư này hướng dẫn tuần tra, canh gác bảo vệ đê Điều trong mùa lũ đối với các tuyến đê sông được phân loại, phân cấp theo quy định tại Điều 4 của Luật Đê Điều.</code> | | <code>Các tuyến đê sông được phân loại, phân cấp thì được bảo vệ ra sao?</code> | <code>Thông tư này hướng dẫn tuần tra, canh gác bảo vệ đê Điều trong mùa lũ đối với các tuyến đê sông được phân loại, phân cấp theo quy định tại Điều 4 của Luật Đê Điều.</code> |
• —Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: steps
• —per_device_train_batch_size: 4096
• —per_device_eval_batch_size: 4096
• —num_train_epochs: 5
• —warmup_ratio: 0.05
• —bf16: True
• —load_best_model_at_end: True
• —batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: steps
• —prediction_loss_only: True
• —per_device_train_batch_size: 4096
• —per_device_eval_batch_size: 4096
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 5e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 5
• —max_steps: -1
• —lr_scheduler_type: linear
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.05
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: True
• —fp16: False
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: None
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: False
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: True
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamw_torch
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: False
• —hub_always_push: False
• —gradient_checkpointing: False
• —gradient_checkpointing_kwargs: None
• —include_inputs_for_metrics: False
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —dispatch_batches: None
• —split_batches: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —eval_use_gather_object: False
• —batch_sampler: no_duplicates
• —multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary>

</details>

Framework Versions

• —Python: 3.10.6
• —Sentence Transformers: 3.3.0.dev0
• —Transformers: 4.45.2
• —PyTorch: 2.4.1+cu118
• —Accelerate: 0.34.0
• —Datasets: 2.21.0
• —Tokenizers: 0.20.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Model Card Contact

Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors. -->