thang1943/multilingual-e5-large-v2

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the dataset_full_fixed dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• —Model Type: Sentence Transformer
• —Base model: intfloat/multilingual-e5-large <!-- at revision 0dc5580a448e4284468b8909bae50fa925907bc5 -->
• —Maximum Sequence Length: 512 tokens
• —Output Dimensionality: 1024 dimensions
• —Similarity Function: Cosine Similarity
• —Training Dataset:
• —dataset_full_fixed <!-- - Language: Unknown --> <!-- - License: Unknown -->

Model Sources

• —Documentation: Sentence Transformers Documentation
• —Repository: Sentence Transformers on GitHub
• —Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("multilingual-e5-large-v2")
# Run inference
sentences = [
    'Hình minh họa Chào em, Bất kỳ\r\nnhững bất thường nào trên da cũng cần được đánh giá chuyên môn của BS bằng quan\r\nsát và khám trực tiếp mới đưa ra nhận định chính xác cao được. Bởi vì\r\nnhững nhận định của người bệnh mang tính chủ quan, dễ bị ảnh hưởng bởi các\r\nthông tin trên báo đài và mạng không chuyên, hơn nữa sang thương da trong bệnh\r\nda liễu đôi khi cũng muôn hình vạn trạng. Điển hình là những thông tin em cung cấp rõ ràng là không\r\ngiống với vẩy phấn hồng, đó có thể là nấm da, viêm da dị ứng, chàm...Không phải\r\nnhất thiết bệnh nào cũng sẽ có đầy đủ tất cả triệu chứng do đó khám BS chuyên\r\nkhoa Da liễu là an toàn và chính xác nhất để tìm ra bệnh và điều trị đúng.',
    'Chào bác sĩ, \r\n\r\nNăm nay em 22 tuổi. Gần đây trên bắp đùi trong em xuất hiện những vết đỏ tập trung thành 1 vùng lớn tầm 2 cm có hình bầu dục, gần vùng bẹn và cũng có 2-3 vệt ở vùng rìa bụng. \r\n\r\nKhông ngứa, không đau. Hình dạng giống với vẩy phấn hồng nhưng không bong vẩy, trong mảng đỏ có lốm đốm và hột màu trắng, em để ý cách đây gần 3 tuần. Xin hỏi BS em bị bệnh gì vậy ạ? Xin cảm ơn.',
    'Chào BS, \r\n\r\nXin BS tư vấn giúp về sức khỏe của em, vừa mới đi khám bệnh với kết quả như sau: WBC kết quả: 14, 24 k Glucose: 3, 9ml.\r\n\r\nTrước đây em có bị huyết áp cao nhưng nay cũng ổn định trong phạm vi cho phép, ngoài ra em còn bị dạng tắc nghẽn mạch máu ở van tim.\r\n\r\nMong BS tư vấn giúp bệnh của em cần ăn uống và điều trị như thế nào cho có kết quả tốt? Rất mong nhận được hồi âm của BS. Xin chân thành cám ơn!',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Information Retrieval

• —Dataset: dim_768
• —Evaluated with <code>InformationRetrievalEvaluator</code>

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

datasetfullfixed

• —Dataset: dataset_full_fixed at ef2e7fd
• —Size: 54,755 training samples
• —Columns: <code>positive</code> and <code>query</code>
• —Approximate statistics based on the first 1000 samples: | | positive | query | |:--------|:-------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------| | type | string | string | | details | <ul><li>min: 29 tokens</li><li>mean: 235.31 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 81.27 tokens</li><li>max: 512 tokens</li></ul> |
• —Samples: | positive | query | |:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>Rách sụn chêm là một trong những chấn thương thường gặp khi chơi thể thao, bị ngã Chào em, Rách sụn chêm ngoài thường dễ hồi phục do vùng này có máu nuôi tốt, nếu rách đơn giản, nhỏ có thể xem xét điều trị bảo tồn với kháng viêm, giảm đau và vật lý trị liệu. Rách sụn chêm độ 3 thường sẽ biểu hiện triệu chứng, do đó, em nên khám lại ở bác sĩ chuyên khoa cơ xương khớp để đánh giá thêm vấn đề vận động của khớp, nhằm tránh nguy cơ thoái hoá khớp, teo cơ về sau. Trong trường hợp cho phép điều trị bảo tồn vẫn nên theo dõi sát kết hợp với vật lý trị liệu tích cực em nhé! Thân mến.</code> | <code>Chào BS, cách đây 2 tháng em có chơi đá bóng, sau khi đá về thì sáng hôm sau gối bị sưng. Em có chườm đá để giảm sưng, đến khi hết sưng đi chụp CHT thì có kết luận rách sụn chêm ngoài độ 3-4, sụn trong độ 2 và rách bán phần dây chằng chéo trước.BS khuyên nên phẫu thuật nhưng hiện tại em đi đứng làm việc nặng bình thường, vẫn có thể chơi thể thao. Xin BS cho em lời khuyên, em cám ơn ạ.</code> | | <code>Mô tả ngắn:<br>Tobcol – Dex có chứa tobramycin , dexamethason natri phosphat do Công ty dược 3/2 sản xuất được dùng trong các trường hợp viêm ở mắt có đáp ứng với steroid, nhiễm khuẩn do các vi khuẩn nhạy cảm với tobramycin gây ra như: Viêm mi mắt, viêm kết mạc, viêm túi lệ, viêm giác mạc, viêm màng bồ đào trước mãn tính, tổn thương giác mạc do hóa chất, tia xạ hay bỏng nhiệt do dị vật.<br>Thành phần:<br>Tobramycin: 0.3%<br>Dexamethason natri phosphat: 0.1%<br>Chỉ định:<br>Thuốc Tobcol – Dex được chỉ định dùng trong các trường hợp sau:<br>Dùng trong các trường hợp viêm ở mắt có đáp ứng với steroid, nhiễm khuẩn do các vi khuẩn nhạy cảm với tobramycin gây ra như: Viêm mi mắt , viêm kết mạc, viêm túi lệ, viêm giác mạc , viêm màng bồ đào trước mãn tính, tổn thương giác mạc do hóa chất, tia xạ hay bỏng nhiệt do dị vật...</code> | <code>Thuốc nhỏ mắt Tobcol-Dex Dược 3-2 điều trị Viêm mi mắt, viêm kết mạc (5ml)</code> | | <code>Mãn kinh khiến chị em "khô hạn" mất đi tự tị trong đời sống tình dục Chào bạn. Mãn kinh là tình trạng buồng trứng đã ngưng hoạt động, không còn khả năng thụ thai. Khi mãn kinh do tình trạng thiếu hụt nội tiết, niêm mạc âm đạo không còn tác động của nội tiết nên trở nên teo mỏng đi, dễ gây khô đau khi quan hệ vợ chồng. Bạn có thể dùng chất bôi trơn hỗ trợ như: gel KY, regelle bơm âm đạo để làm ẩm âm đạo. Nếu có triệu chứng mệt mỏi, mất ngủ… thì bạn có thể khám chuyên khoa phụ khoa để được tư vấn điều trị thuốc nội tiết thay thế.</code> | <code>Xin hỏi bác sĩ:Tôi năm nay 48 tuổi mãn kinh 2 năm nay rồi, nếu quan hệ với chồng có cần uống thuốc ngừa thai không, tháng sau chồng tôi sẽ về thăm tôi, chúng tôi xa nhau hơn 2 năm vì dịch, mong bác sĩ cho tôi lời khuyên. Cảm ơn bác sĩ nhiều !(Lương Vĩnh Phấn - 0932085...)</code> |
• —Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: epoch
• —per_device_train_batch_size: 5
• —per_device_eval_batch_size: 1
• —learning_rate: 1e-06
• —num_train_epochs: 5
• —lr_scheduler_type: constantwithwarmup
• —warmup_ratio: 0.1
• —bf16: True
• —tf32: False
• —load_best_model_at_end: True
• —optim: adamwtorchfused
• —batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: epoch
• —prediction_loss_only: True
• —per_device_train_batch_size: 5
• —per_device_eval_batch_size: 1
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 1e-06
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 5
• —max_steps: -1
• —lr_scheduler_type: constantwithwarmup
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: True
• —fp16: False
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: False
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: False
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: True
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamwtorchfused
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: None
• —hub_always_push: False
• —gradient_checkpointing: False
• —gradient_checkpointing_kwargs: None
• —include_inputs_for_metrics: False
• —include_for_metrics: []
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —dispatch_batches: None
• —split_batches: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —eval_use_gather_object: False
• —average_tokens_across_devices: False
• —prompts: None
• —batch_sampler: no_duplicates
• —multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary>