pablosi/bge-m3-spa-law-qa-trained-2

BGE large Legal Spanish Spa Law QA 2

This is a sentence-transformers model finetuned from littlejohn-ai/bge-m3-spa-law-qa on the boe_sintetic_question_context dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• —Model Type: Sentence Transformer
• —Base model: littlejohn-ai/bge-m3-spa-law-qa <!-- at revision 5242001c41c30df8f8f17db1196c81f71fe4f5bc -->
• —Maximum Sequence Length: 8192 tokens
• —Output Dimensionality: 1024 dimensions
• —Similarity Function: Cosine Similarity
• —Training Dataset:
• —boe_sintetic_question_context
• —Language: es
• —License: apache-2.0

Model Sources

• —Documentation: Sentence Transformers Documentation
• —Repository: Sentence Transformers on GitHub
• —Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("pablosi/bge-m3-spa-law-qa-trained-2")
# Run inference
sentences = [
    '¿Cuál es la disposición que se refiere a la hora de cierre de los establecimientos públicos en días laborables según el artículo 1.°?',
    'n de las adscripciones o representaciones a que\nse refieren distintos apartados del artículo 11,2 del citado De\xad\n\n#### Art. 2:° Los sábados y vísperas de días festivos, los espec- creto orgánico del Consejo Nacional de Educación, táculos podrán terminar y los establecimientos públicos podrán Este Ministerio, haciendo uso de las atribuciones que le con\xad cerrar media hora más tarde de la que se determina en el fiere la disposición final segunda del citado Decreto orgánico, artículo l.° y de conformidad con el dictamen de la Asesoría Jurídica del\n Departamento, ha tenido a bien disponer lo siguiente:\n Art. 3.° La hora de cierre de los frontones podrá prorrogar\xad\nse excepcionalmente, en caso de empate de los partidos, hasta Primero.—Lo dispuesto en el artículo 14 del Decreto 2763/1971,\n\nde 21 de octubre, que organizó el Consejo Nacional de Educa\xad\n\n#### que sea necesaria, siempre que éstos hubieran comenzado a la hora establecida. ción, respecto de los Consejeros que lo fueran por razón de su\n cargo, debe entenderse no sólo respecto de los Consejeros natos,\n Art. 4.° Los bares interiores de los hoteles podrán retrasar sino también de los Consejeros designados por este Ministerio, su hora',
    'o corrientes** 0330 ........................\n\n**TOTAL ACTIVO (A+B)** 0340 ........................\n\n**PASIVO Y PATRIMONIO NETO**\n\n\n**A) PASIVO CORRIENTE** 0350 ........................\n\n**I. Periodificaciones** 0360 ........................\n**II. Acreedores y cuentas a pagar** 0370 ........................\n**III. Deudas con empresas del grupo y asociadas a corto plazo** 0380 ........................\n**IV. Deudas a corto plazo** 0390 ........................\n**V. Provisiones a corto plazo** 0400 ........................\n**VI. Otros pasivos corrientes** 0410 ........................\n\n**B) PASIVO NO CORRIENTE** 0420 ........................\n\n**I. Periodificaciones** 0430 ........................\n**II. Pasivos por impuesto diferido** 0440 ........................\n**III. Deudas con empresas del grupo y asociadas a largo plazo** 0450 ........................\n**IV. Deudas a largo plazo** 0460 ........................\n**V. Provisiones a largo plazo** 0470 ........................\n**VI. Otros pasivos no corrientes** 0480 ........................\n**TOTAL PASIVO (A+B)** 0490 ........................\n\n**C) PATRIMONIO NETO** 0500 ........................\n\n**C-1) FONDOS REEMBOLSABLES** 0510 ....',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Information Retrieval

• —Datasets: dim_1024 and dim_768
• —Evaluated with <code>InformationRetrievalEvaluator</code>

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

boesinteticquestion_context

• —Dataset: boe_sintetic_question_context at 2391ba7
• —Size: 5,036 training samples
• —Columns: <code>question</code> and <code>context</code>
• —Approximate statistics based on the first 1000 samples: | | question | context | |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | | details | <ul><li>min: 3 tokens</li><li>mean: 26.99 tokens</li><li>max: 66 tokens</li></ul> | <ul><li>min: 2 tokens</li><li>mean: 279.97 tokens</li><li>max: 964 tokens</li></ul> |
• —Samples: | question | context | |:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>¿Cuáles son las funciones que corresponden a la Vicesecretaría General Técnica en relación con el régimen interior y económico?</code> | <code>Explotación<br><br>###### Artículo octavo y de Señales Marítimas.<br><br>A la Vicesecretaría General Técnica corresponden las funcio~<br><br>nes relativas al régimen interior y económico, información, Artículo decimosexto<br>iniciativas, derecho de petición, archivo, biblioteca, documen-<br><br>La Dirección General de Transportes Terrestres estará. inte-<br><br>tación, relaciones internacionales y demás que le encomiende<br><br>grada por las siguientes unidades:<br><br>el Secretario general Técnico.<br><br> - Subdirección General de Planificación y Obras.<br><br>###### Articulo noveno - Subdirección General de Explotación.<br><br>La Subdirección General de Programación Económica. tendrá Artículo decimoséptimo<br>a. su 'cargo la realización de estudios económicos, elaboración<br>de las estadisticas del Departamento, estudios y proyectos de A la Subdirección General de Planificación y Obras le, correS'"<br>financiación e informes sobre inversiones y realizaciones del ponderá el examen de anteproye...</code> | | <code>¿Qué tipo de documentación oficial deben exhibir los funcionarios y agentes de las administraciones comunes del país limitrofe para acreditar su nacionalidad, identidad, calidad y naturaleza de sus funciones?</code> | <code>ones conı­<br>neD!"'.! . bajo lOS :ıuspicios de la Comisi6n econ6mic:ı Europea petent,sdel pais limitrofe deberiıı llevar el uniforme ıiacional<br>con el fin. de !'acilitar el paso de ıa. fronteras a l:l.'i memıncias o el signo discintivo prescl'ito por los reglamentos de dicho pais.<br>transportadas POl' via .fcrrea. 3. 10s funcionarios y agentes de las administraciones com-<br>aeuerdan 10 siguiente': petentes del pais limitrofe que tengaıı que dirigirse a La esıa­<br><br>cl6n p:mi la reallzacl6n de la.> ln,pecciones previstas POl' ci pre-<br><br>TITULOI sente Convenio queoar:ın dispensados de las formalidades de<br><br>pasaportes. La exhibici6n de su documentaci6n cficial ser:i. su-<br><br>CreQ~on y regiınen de cstadorıt's de jronterQ con inspectiones ficiente para acreditar su nacionalidad. su jdenıidad. su ca.lidad<br><br>nC!dr...~a.!rz ;:u.:::ta-p--.ıcsta:; y la naturaleza de sus funcia:ıes.<br><br>4. LCIlI lunciona.rios )' agent.>s mencıonad05 en 105 parra-<br><br>Artıculo primero fas 2 y 3 de! presente articulo recibiri...</code> | | <code>¿Cuál es el período máximo de vinculación provisional o a prueba que pueden establecer los estatutos de una sociedad cooperativa de segundo grado?</code> | <code>ría en los estatutos, que también podrá regular un período de vinculación<br>provisional o a prueba de hasta dos años.<br><br>3. El socio persona jurídica que pretenda darse de baja habrá de cursar un preaviso<br>de al menos un año. Trascurrido el periodo de preaviso y antes de su efectiva separación<br>estará obligado a cumplir las obligaciones contraídas con la sociedad cooperativa de<br>segundo grado o a resarcirla económicamente, si así lo decide el consejo rector de esta.<br>Asimismo, salvo previsión estatutaria en contra, la entidad separada deberá continuar<br>desarrollando, durante un plazo no inferior a dos años, aquellos compromisos adquiridos<br>que hubiera asumido con anterioridad a la fecha de la baja.<br><br>Artículo 132. Régimen económico.<br><br><br>Las aportaciones obligatorias al capital social de una sociedad cooperativa de<br>segundo grado se realizarán en función de la actividad cooperativizada comprometida<br>con aquella por cada socio.<br><br>Artículo 133. Órganos sociales.<br><br><br>1. La asamblea general estará formada po...</code> |
• —Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          768
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }

Evaluation Dataset

boesinteticquestion_context

• —Dataset: boe_sintetic_question_context at 2391ba7
• —Size: 5,036 evaluation samples
• —Columns: <code>question</code> and <code>context</code>
• —Approximate statistics based on the first 1000 samples: | | question | context | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | <ul><li>min: 4 tokens</li><li>mean: 27.32 tokens</li><li>max: 64 tokens</li></ul> | <ul><li>min: 20 tokens</li><li>mean: 269.89 tokens</li><li>max: 787 tokens</li></ul> |
• —Samples: | question | context | |:---------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>¿Qué tipo de productos están excluidos de la aplicación del Real Decreto 1801/2003, de 26 de diciembre, sobre seguridad general de los productos?</code> | <code>1801/2003, de 26<br>de diciembre, sobre seguridad general de los productos,<br>para aquellos productos afectados por este real decreto, a<br>excepción de los productos de renovación del acabado de<br>vehículos.<br>b) Las previstas en la Ley 21/1992, de 16 de julio, de<br>Industria, para los productos de renovación del acabado<br>de vehículos afectados por este real decreto.<br><br>2. Los productos objeto de este real decreto serán<br>considerados seguros cuando cumplan, además de los<br>requisitos que les sean exigibles por la legislación vigente,<br>lo dispuesto en este real decreto.<br><br><br>Artículo 6. Información al Ministerio de Medio<br>Ambiente.<br><br>Las comunidades autónomas remitirán al Ministerio de<br>Medio Ambiente un informe que contenga los resultados<br>de las medidas del programa de control al que se refiere el<br>artículo 5 y una relación de las categorías y cantidades de<br>producto para cuya compraventa hayan concedido permisos, según lo dispuesto en la disposición adicional<br>segunda, a efectos de su comunicación a l...</code> | | <code>¿En qué artículo de la Constitución se basa el Estado para dictar la legislación procesal mencionada en el texto?</code> | <code>tencia estatal.<br><br>Esta Ley Orgánica se dicta en ejercicio de las competencias atribuidas al Estado en materia de legislación<br>procesal por el artículo 149.1.6.ª de la Constitución.<br><br><br>Disposición final segunda. Entrada en vigor.<br><br>La presente Ley Orgánica entrará en vigor el día<br>siguiente al de su publicación en el «Boletín Oficial del<br>Estado».<br><br>Por tanto,<br>Mando a todos los españoles, particulares y autoridades, que guarden y hagan guardar esta Ley Orgánica.<br><br>Madrid, 5 de junio de 2006.<br><br>JUAN CARLOS R.<br><br>El Presidente del Gobierno,<br><br>JOSÉ LUIS RODRÍGUEZ ZAPATERO<br><br>### 9958 LEY 17/2006, de 5 de junio, de la radio y la televisión de titularidad estatal.<br><br>JUAN CARLOS I<br><br>REY DE ESPAÑA<br><br>A todos los que la presente vieren y entendieren.<br>Sabed: Que las Cortes Generales han aprobado y Yo<br>vengo en sancionar la siguiente Ley.<br><br>EXPOSICIÓN DE MOTIVOS<br><br>La Constitución en su artículo 20 garantiza valores de<br>pluralismo, veracidad y accesibilidad con el fin de contribuir a la formación de una opinión pú...</code> | | <code>¿Cuál es el propósito principal de la Comisión Mixta establecida en el Artículo 30?</code> | <code> Organismos de Enlace de ambas Partes intercambiarán los datos estadísticos relativos a los pagos de<br>prestaciones efectuados a los beneficiarios de una Parte<br>que residan en el territorio de la otra Parte. Dichos datos<br>contendrán el número de beneficiarios y el importe total<br>de las prestaciones abonadas durante cada año civil.<br>2. Las Autoridades y los Organismos de Enlace de<br>ambas Partes estarán obligados a facilitar, cuando les<br>sean requeridos por la otra Parte, toda la información y<br>datos sobre los sistemas de cálculo de los costes de las<br>prestaciones sanitarias.<br><br>Artículo 30. Comisión Mixta.<br><br>Con el fin de resolver cuantos problemas puedan surgir en aplicación del Convenio y el presente Acuerdo<br>Administrativo, así como para el seguimiento de los mismos, las Autoridades Competentes de ambas Partes<br>podrán reunirse en Comisión Mixta, asistidas por representantes de sus respectivas Instituciones Competentes.<br><br>Artículo 31. Pago de prestaciones._<br><br>Las prestaciones que, conforme a la leg...</code> |
• —Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          768
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: epoch
• —per_device_train_batch_size: 16
• —per_device_eval_batch_size: 16
• —gradient_accumulation_steps: 16
• —learning_rate: 2e-05
• —num_train_epochs: 8
• —lr_scheduler_type: cosine
• —warmup_ratio: 0.1
• —bf16: True
• —tf32: True
• —dataloader_num_workers: 4
• —load_best_model_at_end: True
• —optim: adamwtorchfused
• —gradient_checkpointing: True
• —batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: epoch
• —prediction_loss_only: True
• —per_device_train_batch_size: 16
• —per_device_eval_batch_size: 16
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 16
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 2e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 8
• —max_steps: -1
• —lr_scheduler_type: cosine
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: True
• —fp16: False
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: True
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: False
• —dataloader_num_workers: 4
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: True
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamwtorchfused
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: False
• —hub_always_push: False
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: None
• —include_inputs_for_metrics: False
• —include_for_metrics: []
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —dispatch_batches: None
• —split_batches: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —eval_use_gather_object: False
• —average_tokens_across_devices: False
• —prompts: None
• —batch_sampler: no_duplicates
• —multi_dataset_batch_sampler: proportional

</details>

Training Logs

• —The bold row denotes the saved checkpoint.

Framework Versions

• —Python: 3.10.14
• —Sentence Transformers: 3.3.0
• —Transformers: 4.46.2
• —PyTorch: 2.2.2
• —Accelerate: 1.1.1
• —Datasets: 3.1.0
• —Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Model Card Contact

Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors. -->