nicolauduran45/e5_retrieval-scientific_domain

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• —Model Type: Sentence Transformer
• —Base model: intfloat/multilingual-e5-base <!-- at revision 835193815a3936a24a0ee7dc9e3d48c1fbb19c55 -->
• —Maximum Sequence Length: 512 tokens
• —Output Dimensionality: 768 dimensions
• —Similarity Function: Cosine Similarity <!-- - Training Dataset: Unknown --> <!-- - Language: Unknown --> <!-- - License: Unknown -->

Model Sources

• —Documentation: Sentence Transformers Documentation
• —Repository: Sentence Transformers on GitHub
• —Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    "qubit",
]
documents = [
    "Las propiedades de los elementos de tierras raras diluidos en cristales no magnéticos los convierten en candidatos prometedores para la memoria cuántica debido a su limitado espacio de Hilbert . El control y la lectura de los estados de cúbits requieren una medición altamente sensible y un gran acoplamiento del conjunto de espín con el modo electromagnético de un resonador superconductor . Reportamos la detección sensible de transiciones prohibidas de estados electronucleares de las especies minoritarias de los isótopos < math display= '' inline '' overflow= '' scroll '' > < msup > < mi/ > < mn > 155 < /mn > < /msup > < mi > Gd < /mi > < /math > y < math display= '' inline '' overflow= '' scroll '' > < msup > < mi/ > < mn > 157 < /mn > < /msup > < mi > Gd < /mi > < /math > , lo que abre la posibilidad de conectar estados cuánticos con proyecciones de espín muy diferentes . Las mediciones de perturbación de cavidad observadas en la señal reflejada permiten la detección de aproximadamente < math display= '' inline '' overflow= '' scroll '' > < mn > 7,6 < /mn > < mo > × < /mo > < msup > < mn > 10 < /mn > < mn > 7 < /mn > < /msup > < /math > espines y la medición de la tasa de pérdida de memoria de fase y la fuerza de acoplamiento espín-fotón .",
    'Tracing the seismic history of Sant’Agata del Mugello (Italy, Tuscany) through a cross-disciplinary approach',
    "La baixada de microRNA-9 redueix la resposta inflamatòria i la proliferació de fibroblasts en ratolins amb fibrosi pulmonar idiopàtica a través de la via TGF-β-Smad3 mediada per ANO1. La fibrosi pulmonar idiopàtica ( FPI ) és una malaltia pulmonar intersticial progressiva amb una freqüència creixent , altes taxes de mortalitat i règims de tractament desfavorables . En l'estudi actual , hem identificat l'expressió de microRNA-9 ( miR-9 ) i anoctamina-1 ( ANO1 ) en models de ratolí IPF induïts per bleomicina , i els seus efectes sobre la inflamació i la proliferació de fibroblasts mitjançant la via del factor de creixement transformant-β ( TGF-β ) -Smad3 . Per verificar la relació d'orientació entre miR-9 i ANO1 , vam utilitzar la predicció bioinformàtica i vam realitzar un assaig del gen reporter de doble luciferasa . Els mecanismes reguladors subjacents de miR-9 i el gen objectiu ANO1 es van investigar principalment amb el tractament de miR-9 , inhibidor de miR-9 o siRNA contra ANO1 en fibroblasts aïllats de ratolins IPF . Es va realitzar un assaig immunosorbent lligat a enzims per investigar l'efecte de miR-9 o ANO1 sobre els factors inflamatoris . Per detectar la proliferació de fibroblasts i l'apoptosi es va utilitzar l'anàlisi de bromur de 3- ( 4,5-dimetiltiazol-2-il ) -2,5-difeniltetrazoli i la citometria de flux . Es van aplicar la reacció en cadena quantitativa de la polimerasa de transcripció inversa i l'anàlisi de western blot per mesurar l'expressió dels gens relacionats amb la via TGF-β-Smad3 . La determinació de l'activitat de la luciferasa va suggerir que miR-9 s'adreça a ANO1 . La regulació a l'alça de miR-9 o el silenciament de l'ANO1 va intensificar la inflamació en IPF , va promoure la proliferació i va inhibir la capacitat apoptòtica dels fibroblasts pulmonars . MiR-9 va modular negativament ANO1 i , per tant , va activar la via TGF-β-Smad3 . Aquestes troballes suggereixen que miR-9 pot activar indirectament la via TGF-β-Smad3 inhibint l'expressió d'ANO1 , agreujant així la inflamació , afavorint la proliferació i suprimint l'apoptosi dels fibroblasts pulmonars en models de ratolins d'IPF .",
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.4068, -0.1499, -0.0297]])

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Triplet

• —Dataset: multilingual-e5-base-eval
• —Evaluated with <code>TripletEvaluator</code>

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

Unnamed Dataset

• —Size: 61,083 training samples
• —Columns: <code>query</code> and <code>text</code>
• —Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:---------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | | details | <ul><li>min: 2 tokens</li><li>mean: 8.49 tokens</li><li>max: 63 tokens</li></ul> | <ul><li>min: 6 tokens</li><li>mean: 233.47 tokens</li><li>max: 512 tokens</li></ul> |
• —Samples: | query | text | |:------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>Base de dades espacial</code> | <code>MEDIS —Una base de datos espacial completa sobre las islas mediterráneas para la investigación biogeográfica y evolutiva</code> | | <code>treatment</code> | <code>Condicions psiquiàtriques concomitants en el trastorn de l'espectre autista. Les persones amb trastorn de l'espectre autista ( TEA ) tenen un major risc de patir una o més condicions psiquiàtriques concomitants . Quan estan presents , aquestes condicions s'associen a deteriorament i angoixa addicionals . Per tant , és crucial que els metges i els investigadors comprenguin i abordin adequadament aquests reptes . Tanmateix , a causa de la superposició de símptomes , l'eclipsi diagnòstic i la presentació ambigua dels símptomes en el TEA , l'avaluació de les condicions concomitants en el TEA és complexa i desafiant . De la mateixa manera , els factors de diferència individual , com l'edat , el funcionament intel·lectual i el gènere , poden influir en la presentació de símptomes concomitants . En relació , un marc transdiagnòstic pot oferir utilitat per avaluar i tractar les condicions concomitants . Tanmateix , amb l'excepció dels trastorns d'ansietat , la investigació sobre el tractament ...</code> | | <code>CSI</code> | <code>Ergodic Secrecy Capacity Analysis Over Composite Weibull/Inverse Gamma Fading Channel</code> |
• —Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }

Evaluation Dataset

Unnamed Dataset

• —Size: 7,665 evaluation samples
• —Columns: <code>query</code>, <code>text</code>, and <code>neg_text</code>
• —Approximate statistics based on the first 1000 samples: | | query | text | neg_text | |:--------|:---------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 2 tokens</li><li>mean: 8.98 tokens</li><li>max: 57 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 245.77 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 246.09 tokens</li><li>max: 512 tokens</li></ul> |
• —Samples: | query | text | neg_text | |:----------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>Conmemoración</code> | <code>Simon Perego, Pleurons-les. Les Juifs de Paris et la commémoration de la Shoah (1944-1967) (Ceyzérieu, Champ Vallon, 2020)</code> | <code>La ribonucleoproteína nuclear heterogénea K inhibe la actividad transcripcional del factor de choque térmico 1 inducida por el choque térmico. Cuando las células se exponen a un choque térmico y a otros tipos de estrés , se activa el factor de choque térmico 1 ( HSF1 ) y se desencadena la respuesta al choque térmico ( HSR ) . Para comprender mejor la regulación molecular de la HSR , utilizamos el análisis del proteoma basado en 2D-PAGE para detectar proteínas celulares modificadas postraduccionalmente inducidas por el choque térmico . Nuestro análisis reveló que dos manchas proteicas , típicamente presentes en geles de 2D-PAGE y que contienen ribonucleoproteína nuclear heterogénea K ( hnRNP K ) con Cys < sup > 132 < /sup > trioxidada , desaparecieron tras el tratamiento de choque térmico y reaparecieron durante la recuperación , pero la cantidad total de proteína hnRNP K permaneció inalterada . A continuación , evaluamos si hnRNP K desempeña un papel en la HSR regulando HSF1 y descubri...</code> | | <code>Cartilaginous tumour</code> | <code>Condrometaplàsia de la corda vocal en un mascle adult. ( La condrometaplàsia de la laringe és una malaltia poc freqüent . Informem d'un cas presentat al servei d'otorinolaringologia del nostre institut l'any 2015 . ) PRESENTACIÓ DEL CAS : Home de 62 anys sense antecedents de trauma presentat amb disfonia progressiva , dispnea , sense cap disfàgia . Un examen laringoscòpic de fibra òptica va revelar una massa nodular sorgida a la unió de 1/3 anterior i 2/3 posterior de la corda vocal esquerra . Una tomografia computeritzada de la regió del coll va mostrar una massa arrodonida i circumscrita sense infiltració dels teixits circumdants . La investigació histològica de la lesió va revelar la presència de teixit cartilaginós fibroelàstic , envoltat per una vora fina de teixit fibrós , amb àrees hipercel·lulars rares , cèl·lules binucleades ocasionals , hipercromàsia lleu i un perfil nuclear irregular . No hi havia activitat mitòtica . El pacient no tenia antecedents de traumatisme laringi . ...</code> | <code>Flujo de potencia óptimo multiobjetivo descentralizado basado en intercambio incremental para redes de distribución activas Para aumentar la utilización de los recursos energéticos distribuidos ( DER ) y reducir su influencia negativa , este artículo propone un algoritmo de flujo de potencia óptimo multiobjetivo descentralizado ( MO-OPF ) basado en el intercambio de incrementos para redes de distribución con alta integración de DER . En el modelo MO-OPF , el operador de red y los propietarios de DER persiguen sus propios objetivos operativos y económicos , garantizando al mismo tiempo que se satisfacen los límites de voltaje y potencia de rama en toda la red . El algoritmo propuesto permite la solución del problema MO-OPF de forma descentralizada , sin exponer la información privada de ningún DER al operador de red . Su idea central es utilizar las funciones cuadráticas de los incrementos de las variables de acoplamiento para describir el impacto de los propietarios de DER en el operad...</code> | | <code>Mutation</code> | <code>Importance of host cell arginine uptake in Francisella phagosomal escape and ribosomal protein amounts</code> | <code>Movimientos pseudo-rígidos para interacciones multi-doigts plus flexibles</code> |
• —Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: steps
• —per_device_train_batch_size: 32
• —per_device_eval_batch_size: 32
• —learning_rate: 2e-05
• —warmup_ratio: 0.1
• —fp16: True
• —load_best_model_at_end: True
• —batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: steps
• —prediction_loss_only: True
• —per_device_train_batch_size: 32
• —per_device_eval_batch_size: 32
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 2e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 3
• —max_steps: -1
• —lr_scheduler_type: linear
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —bf16: False
• —fp16: True
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: None
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: False
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: True
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —parallelism_config: None
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamwtorchfused
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —project: huggingface
• —trackio_space_id: trackio
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: None
• —hub_always_push: False
• —hub_revision: None
• —gradient_checkpointing: False
• —gradient_checkpointing_kwargs: None
• —include_inputs_for_metrics: False
• —include_for_metrics: []
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: no
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —liger_kernel_config: None
• —eval_use_gather_object: False
• —average_tokens_across_devices: True
• —prompts: None
• —batch_sampler: no_duplicates
• —multi_dataset_batch_sampler: proportional
• —router_mapping: {}
• —learning_rate_mapping: {}

</details>

Training Logs

Framework Versions

• —Python: 3.12.12
• —Sentence Transformers: 5.2.0
• —Transformers: 4.57.3
• —PyTorch: 2.9.0+cu126
• —Accelerate: 1.12.0
• —Datasets: 4.0.0
• —Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Model Card Contact

Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors. -->