SMARTICT/bge-small-en-v1.5-tr-rag-v1

bge-small-en-v1.5-tr-rag-v1

This is a sentence-transformers model finetuned from BAAI/bge-small-en-v1.5 on the json dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• —Model Type: Sentence Transformer
• —Base model: BAAI/bge-small-en-v1.5 <!-- at revision 5c38ec7c405ec4b44b94cc5a9bb96e735b38267a -->
• —Maximum Sequence Length: 512 tokens
• —Output Dimensionality: 384 dimensions
• —Similarity Function: Cosine Similarity
• —Training Dataset:
• —json
• —Language: en
• —License: apache-2.0

Model Sources

• —Documentation: Sentence Transformers Documentation
• —Repository: Sentence Transformers on GitHub
• —Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': True}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("bge-small-en-v1.5-tr-rag-v1")
# Run inference
sentences = [
    'veya \'\'\'Afrika insansıları\'\'\', ilk kez John Edward Gray tarafından 1825 yılında tanımlanmış bir Hominidae alt familyasıdır. Açıklama (insansı) aile ağacı sol Mevcut (5 tür) ve soyu tükenmiş türleriyle birlikte iki oymak içerir: \'\'\'Hominini\'\'\' oymağı ve \'\'\'Gorillini\'\'\' oymağı. Kimi yazarlar ise, \'\'Pan\'\' cinsinin bazen kendi üçüncü oymağı Panini\'ye ait olduğunu düşünür. Homininae, orangutanların (Ponginae alt familyası) hominid soyundan ayrılmasından (yaklaşık 16 myö) sonra ortaya çıkan, insanlarla orangutanlara göre daha yakın akraba olan tüm hominidleri içerir. Bu alt familyadaki canlılar, \'\'hominine\'\' veya \'\'hominineler\'\' olarak tanımlanır. Evrim Homininae alt familyasının yaşı son ortak atası) tahminlere göre 14 ila 12.5 milyon yıldır Gorillini ve Hominini oymaklarına ayrılmasının ("goril insan son ortak atası", GHLCA) geç Miyosen\'de, nakayamai\'\'nin yaşadığı döneme yakın bir zamanda, ila 10 milyon yıl önce gerçekleştiği tahmin edilmiştir (TGHLCA). \'\'Pan-Homo\'\' bölünmesine kadar (5-7 myö) gorillerin ve \'\'Pan-Homo\'\' atalarının melezlendiğine dair kanıtlar vardır. Filogeni Parins-Fukuchi \'\'ve 2019\'daki çalışmasına göre oluşturulmuş, soyu tükenmiş homininleri içeren bir Homininae kladogramı: Ayrıca bakınız son ortak ata Ponginae Notlar Kaynakça Dış bağlantılar Kategori:John Edward Gray tarafından adlandırılmış taksonlar tanımlanan taksonlar',
    'Homininae alt familyası ilk kez ne zaman ve kim tarafından tanımlandı?',
    'Amr Hassan Zaki hangi takımlarda forma giymiştir?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Information Retrieval

• —Dataset: dim_384
• —Evaluated with <code>InformationRetrievalEvaluator</code>

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

json

• —Dataset: json
• —Size: 8,970 training samples
• —Columns: <code>positive</code> and <code>anchor</code>
• —Approximate statistics based on the first 1000 samples: | | positive | anchor | |:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------| | type | string | string | | details | <ul><li>min: 92 tokens</li><li>mean: 387.75 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 2 tokens</li><li>mean: 22.76 tokens</li><li>max: 58 tokens</li></ul> |
• —Samples: | positive | anchor | |:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------| | <code>Diyarbakır ilinin Bismil ilçesine bağlı bir mahalledir. Tarihçe Mahallenin adı, 1928 yılı kayıtlarında olarak geçmektedir. Coğrafya Diyarbakır il merkezine 57 km, Bismil ilçe merkezine 22 km uzaklıktadır. Nüfus Yıllara göre mahalle nüfus verileri 2007 2000 185 1997 165 Kaynakça Dış bağlantılar Yerelnet mahalleleri</code> | <code>Mahallenin adı ne zaman kaydedilmiştir?</code> | | <code>'''karmaşık neden''', '''nedensel aşırı '''nedensel veya '''indirgeme safsatası''', bir sonucun birkaç nedenden kaynaklanması mümkünken; bir tek nedeni olduğu varsayıldığında ortaya çıkan kuşkulu neden safsatasıdır. Mantıksal olarak şu şekilde açıklanabilir: "X, Y'ye neden oldu; bu nedenle, X, Y'nin tek nedeniydi" Nedensel aşırı basitleştirme, birleşik olasılıkların göz ardı edildiği belirli bir tür yanlış ikilemdir. Diğer bir deyişle, "A ve ve C" veya "A ve ama değil" şeklindeki öncüller dikkate alınmadığında olası nedenlerin "A veya veya C" olduğu varsayılır. Kaynakça</code> | <code>Karmaşık neden safsatası nedir ve nasıl oluşur?</code> | | <code>Akyazı Sakarya ili ilçesi Akyazı, Adıyaman Adıyaman ili merkez ilçesine bağlı köy Akyazı, Besni Adıyaman ili Besni ilçesine bağlı köy Akyazı, Amasya Amasya ili merkez ilçesine bağlı köy Akyazı, Adilcevaz Bitlis ili Adilcevaz ilçesine bağlı köy Akyazı, Düzce Düzce ili merkez ilçesine bağlı köy Akyazı, Çorum Çorum ili merkez ilçesine bağlı köy Akyazı, Aziziye Erzurum ili Aziziye ilçesine bağlı mahalle Akyazı, Kızıltepe Mardin ili Kızıltepe ilçesine bağlı mahalle Akyazı, Asarcık Samsun ili Asarcık ilçesine bağlı mahalle Akyazı, Ortahisar Trabzon ili Ortahisar ilçesine bağlı mahalle</code> | <code>Akyazı adında kaç köy vardır?</code> |
• —Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: epoch
• —per_device_train_batch_size: 32
• —per_device_eval_batch_size: 16
• —gradient_accumulation_steps: 16
• —learning_rate: 2e-05
• —num_train_epochs: 5
• —lr_scheduler_type: cosine
• —warmup_ratio: 0.1
• —tf32: False
• —load_best_model_at_end: True
• —optim: adamwtorchfused
• —batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: epoch
• —prediction_loss_only: True
• —per_device_train_batch_size: 32
• —per_device_eval_batch_size: 16
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 16
• —eval_accumulation_steps: None
• —learning_rate: 2e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 5
• —max_steps: -1
• —lr_scheduler_type: cosine
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: False
• —fp16: False
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: False
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: False
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: True
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamwtorchfused
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: False
• —hub_always_push: False
• —gradient_checkpointing: False
• —gradient_checkpointing_kwargs: None
• —include_inputs_for_metrics: False
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —dispatch_batches: None
• —split_batches: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —prompts: None
• —batch_sampler: no_duplicates
• —multi_dataset_batch_sampler: proportional

</details>

Training Logs

• —The bold row denotes the saved checkpoint.

Framework Versions

• —Python: 3.12.7
• —Sentence Transformers: 3.3.1
• —Transformers: 4.41.2
• —PyTorch: 2.5.1+cu124
• —Accelerate: 1.1.1
• —Datasets: 2.19.1
• —Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Model Card Contact

Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors. -->