CoolFace
Modelpublic

ngocnamk3er/GreenNode-Embedding-Large-VN-Retrieval-fine-tuned-without-lotrinhhoc-19DEC

sourceHugging Faceupdated 9mo agoView on Hugging Face
0likes13downloads
Model Card

SentenceTransformer based on GreenNode/GreenNode-Embedding-Large-VN-Mixed-V1

This is a sentence-transformers model finetuned from GreenNode/GreenNode-Embedding-Large-VN-Mixed-V1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • —Model Type: Sentence Transformer
  • —Base model: GreenNode/GreenNode-Embedding-Large-VN-Mixed-V1 <!-- at revision 1d3dddb3862292dab4bd3eddf0664c0335ad5843 -->
  • —Maximum Sequence Length: 8192 tokens
  • —Output Dimensionality: 1024 dimensions
  • —Similarity Function: Cosine Similarity <!-- - Training Dataset: Unknown --> <!-- - Language: Unknown --> <!-- - License: Unknown -->

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

bash
pip install -U sentence-transformers

Then you can load this model and run inference.

python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ngocnamk3er/GreenNode-Embedding-Large-VN-Retrieval-fine-tuned-without-lotrinhhoc-19DEC")
# Run inference
sentences = [
    'Làm thế nào để tìm kiếm sách trong kho sách đã được kích hoạt?',
    'Chủ đề: 14. KÍCH HOẠT / TRA CỨU SÁCH\nNội dung:\n14. KÍCH HOẠT VÀ TRA CỨU SÁCH\n14.1. Kích hoạt sách\nBước 1: Truy cập trang web\nMở trình duyệt và truy cập vào website Tiếng Anh Cô Mai Phương\nĐăng nhập vào tài khoản để sử dụng đầy đủ các tính năng\nBước 2: Tìm mục Lịch sử đơn hàng\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/324f5bd0-0982-47f1-a8b9-317560ee0ef7.png]]\nTại giao diện trang chủ, người dùng nhấn vào avatar ở góc phải màn hình => chọn mục “Lịch sử đơn hàng”\nBước 3: Kích hoạt khoá sách\nTại giao diện Lịch sử đơn hàng, người dùng nhấn vào đơn hàng Sách => Nhấn nút “Kích hoạt”.\n14.2. Tra cứu sách\nBước 1: Tìm công cụ tra cứu Sách\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/b827d7c4-02c1-4b10-8d8f-5622a5afb777.png]]\nTại giao diện trang chủ, chọn mục Sách ở thanh menu bên trái => Nhấp vào để mở giao diện kho sách.\nBước 2: Tìm kiếm sách trong kho sách\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/8f66bfcd-d52b-4f0d-99e2-c225cad6a539.png]]\nNhập tên sách đã kích hoạt vào ô tìm kiếm hoặc nhấn trực tiếp vào 1 khoá sách bất kỳ đã kích hoạt.\nBước 3: Chọn topic sách\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/19adcfb6-9afe-461d-86d1-90d12f77d39e.png]]\nMàn hình hiển thị layout khoá sách => nhấn vào 1 topic mà bạn muốn tra cứu đáp án (Tên topic trên màn hình hiển thị trùng khớp với tên topic trong sách giấy)\nBước 4: Nhập ID câu hỏi cần tra đáp án\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/eae4a969-ad74-4d96-baea-9e5b0d0922ac.png]]\nNhập mã ID tương ứng với câu hỏi trong sách giấy => nhấn Enter\nHệ thống sẽ hiển thị đáp án câu hỏi tương ứng với mã ID đó.\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/70b6d904-2ebc-403a-9982-41494a1c7363.png]]\nTrong trường hợp muốn tra cứu các câu hỏi theo thứ tự lần lượt => người dùng nhấn nút “Next” để xem đáp án từng câu hoặc nhấn vào ô “Hide” để hiển thị danh sách các câu hỏi và tra cứu đáp án sách.',
    'Câu hỏi: Làm thế nào để tải tài liệu?\nTrả lời: - Nếu em dùng laptop: Em tải file ở trên GG Chrome hoặc Cốc Cốc cho dễ em nhé. Em ấn vào mũi tên tải xuống màu đỏ thì file sẽ đc tải về máy của em, em hay kiểm tra phần nhật ký tải xuống gần đây trên trình duyệt google của em (nếu là cốc cốc, còn chrome thì nó ghi là "tệp đã tải xuống" đó em nhé. Hoặc em kiểm tra ở thư mục Download nhé.\n\n- Nếu em dùng điện thoại: Em vào web từ Zalo, Facebook hoặc search từ Google thường sẽ bị chặn tải nha em. Em mở bài giải trực tiếp trên app Google Chrome và tải về giúp chị nha. Trên Safari thì em vào cài đặt => Safari và tắt chế độ Chặn cửa sổ bật lên rồi tải tài liệu em nhé.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7074, 0.1647],
#         [0.7074, 1.0000, 0.3124],
#         [0.1647, 0.3124, 1.0000]])

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Information Retrieval
MetricValue
cosine_accuracy@10.7101
cosine_accuracy@50.9269
cosine_accuracy@100.9707
cosine_precision@10.7101
cosine_precision@30.2979
cosine_precision@50.1854
cosine_precision@100.0971
cosine_recall@10.7101
cosine_recall@30.8936
cosine_recall@50.9269
cosine_recall@100.9707
cosine_ndcg@100.8477
cosine_mrr@100.8075
cosine_map@1000.8093

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

Unnamed Dataset
  • —Size: 3,008 training samples
  • —Columns: <code>sentence0</code> and <code>sentence1</code>
  • —Approximate statistics based on the first 1000 samples: | | sentence0 | sentence1 | |:--------|:-----------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------| | type | string | string | | details | <ul><li>min: 11 tokens</li><li>mean: 19.76 tokens</li><li>max: 44 tokens</li></ul> | <ul><li>min: 25 tokens</li><li>mean: 229.02 tokens</li><li>max: 2694 tokens</li></ul> |
  • —Samples: | sentence0 | sentence1 | |:---------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>Có cách nào để đảm bảo rằng đáp án mặc định luôn chính xác và bao quát không ạ?</code> | <code>Câu hỏi: HS làm đúng nhưng bị web đánh sai do đáp án khác với web nhưng vẫn đúng<br>Trả lời: Em ghi như vậy cũng được em nhé, nhưng do đáp án đã được mặc định nên nó sẽ chấm đúng cho những câu khớp với nó, vì vậy nên nó mới chưa chấm đúng cho em, em nhé.</code> | | <code>Em có thể giải quyết thắc mắc về điểm số một cách độc lập không?</code> | <code>Câu hỏi: Sao em làm đúng mà hệ thống chấm sai?<br>Trả lời: Bước 1: Copy Tên tài khoản (ID) học viên -> Bấm Chi tiết comment, hệ thống sẽ chuyển đến link bài thi mà hs để lại cmt Bước 2: Xem mục BXH, click vào "Tìm kiếm trng danh sách" chọn Tìm kiếm theo tên tài khoản Bước 3: Nhập tên tài khoản của học sinh, bấm Tìm kiếm Bước 4: Bấm xem chi tiết bài làm của học sinh và check câu hỏi mà học sinh thắc mắc</code> | | <code>Chị có thể giới thiệu cho em chuyên đề tổng ôn trọng điểm từ vựng không ạ?</code> | <code>Câu hỏi: Tính năng tập dịch ở khoá lớp 10<br>Làm bài tập dịch ở đâu ạ?<br>Trả lời: Em vào một trong các bài chị list dưới đây là thấy bài song ngữ ở khoá bứt phá vào 10 nha:<br>Luyện dạng bài trong đề thi vào lớp 10 (2026):<br>- CHUYÊN ĐỀ 6: XỬ GỌN CÂU HỎI COLLOCATION TRONG ĐỀ THI<br>- CHUYÊN ĐỀ 7: XỬ GỌN CÂU HỎI PHRASAL VERBS TRONG ĐỀ THI : Bài Tự tin xử lí câu hỏi Phrasal verbs trong đề thi (Buổi 3)<br>- CHUYÊN ĐỀ 8: XỬ GỌN CÂU HỎI IDIOMS TRONG ĐỀ THI<br>- CHUYÊN ĐỀ 9: ĐỌC ĐIỀN THÔNG BÁO - QUẢNG CÁO - TỜ RƠI<br>- CHUYÊN ĐỀ 10: DẠNG THỨC TỪ (WORD FORM) VÀ ĐIỀN TỪ VÀO CÂU DỰA THEO TỪ ĐIỂN<br>- CHUYÊN ĐỀ 11: SẮP XẾP VÀ HOÀN THIỆN ĐOẠN VĂN<br>- CHUYÊN ĐỀ 14: ĐỌC ĐIỀN<br>- CHUYÊN ĐỀ 17: TỔNG ÔN TRỌNG ĐIỂM TỪ VỰNG<br>Anh văn 8-9 (Cơ bản và mở rộng)<br>Khoá Luyện giải đề thi vào lớp 10 (2026) em nhé</code> |
  • —Loss: <code>_main_.LoggingMultipleNegativesRankingLoss</code> with these parameters:
json
  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }

Training Hyperparameters

Non-Default Hyperparameters
  • —eval_strategy: steps
  • —per_device_train_batch_size: 4
  • —per_device_eval_batch_size: 4
  • —num_train_epochs: 1
  • —fp16: True
  • —multi_dataset_batch_sampler: round_robin
All Hyperparameters

<details><summary>Click to expand</summary>

  • —overwrite_output_dir: False
  • —do_predict: False
  • —eval_strategy: steps
  • —prediction_loss_only: True
  • —per_device_train_batch_size: 4
  • —per_device_eval_batch_size: 4
  • —per_gpu_train_batch_size: None
  • —per_gpu_eval_batch_size: None
  • —gradient_accumulation_steps: 1
  • —eval_accumulation_steps: None
  • —torch_empty_cache_steps: None
  • —learning_rate: 5e-05
  • —weight_decay: 0.0
  • —adam_beta1: 0.9
  • —adam_beta2: 0.999
  • —adam_epsilon: 1e-08
  • —max_grad_norm: 1
  • —num_train_epochs: 1
  • —max_steps: -1
  • —lr_scheduler_type: linear
  • —lr_scheduler_kwargs: {}
  • —warmup_ratio: 0.0
  • —warmup_steps: 0
  • —log_level: passive
  • —log_level_replica: warning
  • —log_on_each_node: True
  • —logging_nan_inf_filter: True
  • —save_safetensors: True
  • —save_on_each_node: False
  • —save_only_model: False
  • —restore_callback_states_from_checkpoint: False
  • —no_cuda: False
  • —use_cpu: False
  • —use_mps_device: False
  • —seed: 42
  • —data_seed: None
  • —jit_mode_eval: False
  • —use_ipex: False
  • —bf16: False
  • —fp16: True
  • —fp16_opt_level: O1
  • —half_precision_backend: auto
  • —bf16_full_eval: False
  • —fp16_full_eval: False
  • —tf32: None
  • —local_rank: 0
  • —ddp_backend: None
  • —tpu_num_cores: None
  • —tpu_metrics_debug: False
  • —debug: []
  • —dataloader_drop_last: False
  • —dataloader_num_workers: 0
  • —dataloader_prefetch_factor: None
  • —past_index: -1
  • —disable_tqdm: False
  • —remove_unused_columns: True
  • —label_names: None
  • —load_best_model_at_end: False
  • —ignore_data_skip: False
  • —fsdp: []
  • —fsdp_min_num_params: 0
  • —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
  • —fsdp_transformer_layer_cls_to_wrap: None
  • —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
  • —deepspeed: None
  • —label_smoothing_factor: 0.0
  • —optim: adamw_torch
  • —optim_args: None
  • —adafactor: False
  • —group_by_length: False
  • —length_column_name: length
  • —ddp_find_unused_parameters: None
  • —ddp_bucket_cap_mb: None
  • —ddp_broadcast_buffers: False
  • —dataloader_pin_memory: True
  • —dataloader_persistent_workers: False
  • —skip_memory_metrics: True
  • —use_legacy_prediction_loop: False
  • —push_to_hub: False
  • —resume_from_checkpoint: None
  • —hub_model_id: None
  • —hub_strategy: every_save
  • —hub_private_repo: False
  • —hub_always_push: False
  • —gradient_checkpointing: False
  • —gradient_checkpointing_kwargs: None
  • —include_inputs_for_metrics: False
  • —eval_do_concat_batches: True
  • —fp16_backend: auto
  • —push_to_hub_model_id: None
  • —push_to_hub_organization: None
  • —mp_parameters:
  • —auto_find_batch_size: False
  • —full_determinism: False
  • —torchdynamo: None
  • —ray_scope: last
  • —ddp_timeout: 1800
  • —torch_compile: False
  • —torch_compile_backend: None
  • —torch_compile_mode: None
  • —dispatch_batches: None
  • —split_batches: None
  • —include_tokens_per_second: False
  • —include_num_input_tokens_seen: False
  • —neftune_noise_alpha: None
  • —optim_target_modules: None
  • —batch_eval_metrics: False
  • —eval_on_start: False
  • —eval_use_gather_object: False
  • —prompts: None
  • —batch_sampler: batch_sampler
  • —multi_dataset_batch_sampler: round_robin
  • —router_mapping: {}
  • —learning_rate_mapping: {}

</details>

Training Logs

EpochStepTraining Lossval_hit_at_k_cosine_ndcg@10
0.1330100-0.7748
0.2660200-0.8199
0.3989300-0.8323
0.5319400-0.8401
0.66495000.07320.8477

Framework Versions

  • —Python: 3.10.12
  • —Sentence Transformers: 5.2.0
  • —Transformers: 4.44.2
  • —PyTorch: 2.9.1+cu128
  • —Accelerate: 1.12.0
  • —Datasets: 4.4.1
  • —Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers
bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
LoggingMultipleNegativesRankingLoss
bibtex
@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Model Card Contact

Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors. -->