cnmoro/static-retrieval-distilbert-ptbr

SentenceTransformer

This is a sentence-transformers model trained on the all_triplets_ms_marco-ptbr dataset. It maps sentences & paragraphs to a 512-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• —Model Type: Sentence Transformer <!-- - Base model: Unknown -->
• —Maximum Sequence Length: inf tokens
• —Output Dimensionality: 512 dimensions
• —Similarity Function: Cosine Similarity
• —Training Dataset:
• —all_triplets_ms_marco-ptbr
• —Language: pt <!-- - License: Unknown -->

Model Sources

• —Documentation: Sentence Transformers Documentation
• —Repository: Sentence Transformers on GitHub
• —Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): StaticEmbedding(
    (embedding): EmbeddingBag(29794, 512, mode='mean')
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("cnmoro/static-retrieval-distilbert-ptbr")
# Run inference
sentences = [
    'o que ajuda a síndrome de ibs',
    'óleo de hortelã-revestida com antecérico é amplamente utilizado para a síndrome do intestino irritável. Tem a intenção de reduzir a dor abdominal e inchaço da síndrome do intestino irritável. Peppermint é considerada uma erva carminativa, o que significa que é usado para eliminar o excesso de gás nos intestinos. Embora novas pesquisas sejam necessárias, estudos preliminares indicam que pode aliviar os sintomas da SII".',
    'diarreia ou prisão de ventre que não responde ao tratamento domiciliar".',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 512]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Information Retrieval

• —Datasets: NanoClimateFEVER, NanoDBPedia, NanoFEVER, NanoFiQA2018, NanoHotpotQA, NanoMSMARCO, NanoNFCorpus, NanoNQ, NanoQuoraRetrieval, NanoSCIDOCS, NanoArguAna, NanoSciFact and NanoTouche2020
• —Evaluated with <code>InformationRetrievalEvaluator</code>

Nano BEIR

• —Dataset: NanoBEIR_mean
• —Evaluated with <code>NanoBEIREvaluator</code>

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

alltripletsms_marco-ptbr

• —Dataset: all_triplets_ms_marco-ptbr at f934503
• —Size: 25,863,649 training samples
• —Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• —Approximate statistics based on the first 1000 samples: | | anchor | positive | negative | |:--------|:-----------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 5 characters</li><li>mean: 35.31 characters</li><li>max: 105 characters</li></ul> | <ul><li>min: 31 characters</li><li>mean: 356.8 characters</li><li>max: 1050 characters</li></ul> | <ul><li>min: 13 characters</li><li>mean: 359.92 characters</li><li>max: 1153 characters</li></ul> |
• —Samples: | anchor | positive | negative | |:-----------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>partes mais quentes da califórnia em dezembro</code> | <code>as melhores praias da Califórnia para o clima quente do inverno estão ao longo da costa sul, particularmente as margens viradas para o sul. As temperaturas mais quentes acontecem em Avila Beach, Long Beach e Laguna Beach, onde os dias se dem até pelo menos 67 graus F (19 C) em média em dezembro e janeiro".</code> | <code>Outros destinos da ilha do Caribe com uma combinação de clima quente e não muita chuva em dezembro incluem Kingston, Jamaica (87 F), St. Kitts (85 F) e Nassau, Bahamas (79 F). Nos EUA continentais, o clima de férias mais quente em dezembro é mais frequentemente a Flórida. Tente afundar seus dedos na areia branca quente e macia de Nápoles e Sarasota, dois dos nossos locais de férias de inverno românticos da Flórida da Costa do Golfo da Flórida".</code> | | <code>definição de anosmia</code> | <code>Anosmia (/aen-É-zmiÉ/) A sÉ-zmiÉ é a incapacidade de perceber o odor ou a falta de funcionamento da autaraction a perda do sentido.</code> | <code>Anemia é um termo médico que se refere a um número reduzido de glóbulos vermelhos circulantes (RBC), hemoglobina (Hb), ou ambos. Não é uma doença específica, mas sim o resultado de algum outro processo de doença ou condição.nemia é um termo médico referindo-se a um número reduzido de glóbulos vermelhos circulantes (RBC), hemoglobina (Hb), ou ambos. Não é uma doença específica, mas sim o resultado de algum outro processo ou condição de doença".</code> | | <code>can fêmeas obter hemofilia</code> | <code>uma fêmea que herda um afetado x cromossomo torna-se um portador de hemofilia que ela pode passar o gene afetado para seus filhos, além de uma mulher que é um portador às vezes pode ter sintomas de hemofilia na verdade alguns médicos descrevem essas mulheres como tendo mulheres leves que carregam o gene da hemofilia que carregam o gene da hemofilia e têm quaisquer sintomas do transtorno deve ser verificado e cuidado por um provedor de saúde de boa qualidade cuidados médicos e enfermeiros que podem evitar que os problemas sérios que saibam que muitos.</code> | <code>Hemofilia é um X ligado ou sexo ligado a doença hereditária que significa que o defeito é realizado no cromossomo X. As fêmeas têm dois cromossomos X e os machos têm um cromossomo X e um cromossomo Y. O cromossomo X, que carrega o gene da hemofilia em homens, faz com que Fator VIII ou Fator IX esteja ausente ou deficiente (nível baixo). Cada criança de um portador de hemofilia tem 50% de chance de ser afetada pela hemofilia; seja ter hemofilia para um macho ou ser portadora de uma mulher".</code> |
• —Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          512,
          384,
          256,
          128,
          64,
          32,
          16,
          8
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }

Evaluation Dataset

alltripletsms_marco-ptbr

• —Dataset: all_triplets_ms_marco-ptbr at f934503
• —Size: 527,832 evaluation samples
• —Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• —Approximate statistics based on the first 1000 samples: | | anchor | positive | negative | |:--------|:-----------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 6 characters</li><li>mean: 36.15 characters</li><li>max: 193 characters</li></ul> | <ul><li>min: 20 characters</li><li>mean: 360.3 characters</li><li>max: 1097 characters</li></ul> | <ul><li>min: 14 characters</li><li>mean: 365.67 characters</li><li>max: 1145 characters</li></ul> |
• —Samples: | anchor | positive | negative | |:----------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>diferença entre o ovo cozido duro e o ovo escalfado</code> | <code>o ovo é escalfado (ou cozido) quando o branco é cozido e a gema ainda é escorrendo, um ovo cozido duro é cozido em sua casca por 7 a 8 minutos até que seja cozido sólido todo o caminho. Carmen D 4 anos atrás. Os polegares para cima. 0".</code> | <code>mexidos, escalfados, fritos ou cozidos, e dado todas essas variações, a questão de longa duração que eles podem ser armazenados com segurança é uma boa a considerar. Uma bactéria chamada Salmonella enteritidis pode estar presente dentro da gema, mas ovos duros os torna seguros para comer".</code> | | <code>quando você pode coletar segurança social se deficientes</code> | <code>Como a Segurança Social pagará benefícios de invalidez a uma pessoa com deficiência é determinada pela data em que você apresentou sua reivindicação de deficiência ao se candidatar à segurança social e/ou incapacidade da SSI.</code> | <code>Se for esse o caso, você não terá mais direito a benefícios de Deficiência da Segurança Social, mas você pode ter direito a benefícios de aposentadoria da Previdência Social uma vez que você atinja a idade de 65 anos. Se você decidir voltar ao trabalho seus benefícios não vai parar imediatamente. Você pode ganhar renda em uma base de â-trialâ para até nove meses antes de seus benefícios de Deficiência Social são revogados. Se você tentar voltar ao trabalho e descobrir que você é incapaz de lidar com isso, seus Benefícios de Segurança Social não terminará.ou pode ganhar renda em uma base de âtrialâ por até nove meses antes de seus benefícios de deficientes de segurança social são revogados. Se você tentar voltar ao trabalho e descobrir que não consegue lidar com isso, seus Benefícios de Segurança Social não terminarão".</code> | | <code>número de contato da sede da união ocidental</code> | <code>número de telefone da União Ocidental. O número e as etapas abaixo são votados no 1 de 4 por mais de 7190 clientes da Western Union. 800-999-9660. Suporte telefônico da Western Union. Leia as principais etapas e dicas abaixo. Eles chamam você em vez dissoNão esperando em espera. Free.ress 1 e continue pressionando 0. Este número de telefone é popular entre outros clientes da Western Union, mas não se esqueça de seguir os 6 passos mais abaixo".</code> | <code>Neste artigo eu listei o número de telefone de serviço ao cliente Western Union essencial e o número de telefone de contato e números gratuitos para a Western Union. Western Union operando em muitos países, então eu listei números de telefone de atendimento ao cliente internacional Western Union. Se você é o cliente da Western Union e gosta de saber informações sobre produtos e serviços da Western Union, basta usar os seguintes números".</code> |
• —Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          512,
          384,
          256,
          128,
          64,
          32,
          16,
          8
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: steps
• —per_device_train_batch_size: 512
• —per_device_eval_batch_size: 512
• —learning_rate: 0.2
• —num_train_epochs: 5
• —warmup_ratio: 0.1
• —bf16: True

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: steps
• —prediction_loss_only: True
• —per_device_train_batch_size: 512
• —per_device_eval_batch_size: 512
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 0.2
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 5
• —max_steps: -1
• —lr_scheduler_type: linear
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: True
• —fp16: False
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: None
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: False
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: False
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamw_torch
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: None
• —hub_always_push: False
• —gradient_checkpointing: False
• —gradient_checkpointing_kwargs: None
• —include_inputs_for_metrics: False
• —include_for_metrics: []
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —dispatch_batches: None
• —split_batches: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —eval_use_gather_object: False
• —average_tokens_across_devices: False
• —prompts: None
• —batch_sampler: batch_sampler
• —multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary>

</details>

Framework Versions

• —Python: 3.11.11
• —Sentence Transformers: 3.3.1
• —Transformers: 4.48.0
• —PyTorch: 2.5.1+cu124
• —Accelerate: 1.2.1
• —Datasets: 3.2.0
• —Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Model Card Contact

Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors. -->