FareedKhan/models_testerrdd

SentenceTransformer based on mixedbread-ai/deepset-mxbai-embed-de-large-v1

This is a sentence-transformers model finetuned from mixedbread-ai/deepset-mxbai-embed-de-large-v1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• —Model Type: Sentence Transformer
• —Base model: mixedbread-ai/deepset-mxbai-embed-de-large-v1 <!-- at revision fe450620a047ac704e100d84aebe7cd3fc137021 -->
• —Maximum Sequence Length: 512 tokens
• —Output Dimensionality: 1024 tokens
• —Similarity Function: Cosine Similarity <!-- - Training Dataset: Unknown --> <!-- - Language: Unknown --> <!-- - License: Unknown -->

Model Sources

• —Documentation: Sentence Transformers Documentation
• —Repository: Sentence Transformers on GitHub
• —Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Welche Datenbestände dokumentieren die Fachaufsicht des BMI über Kinderbetreuungseinrichtungen in der Stadt Oberhof?',
    '\nDatenbestand\n    - titel: Kindertagesstätten der Stadt Oberhof\n    - typ: Fachverfahren\n    - kurzbeschreibung: Standorte von Kindergärten und Kinderkrippen der Stadt Oberhof.\n    - allgemeine_beschreibung: Der Datensatz zeigt die Standorte von Kindergärten und Kinderkrippen der Stadt Oberhof. Es handelt sich um einen Sekundärdatenbestand.\n    - fachliche_beschreibung: Der Datensatz wird von der Stadtverwaltung Oberhof verwaltet und dient dazu, Transparenz über die Kinderbetreuungseinrichtungen in Oberhof zu schaffen. Zuständige Behörden sind die Stadtverwaltung Oberhof und das Thüringer Ministerium für Inneres und Kommunales.\n    - zweck: Der Datensatz wird erhoben, um den Bürgern von Oberhof Informationen über die verfügbaren Kindertagesstätten und Kinderkrippen bereitzustellen.\n    - aktualisierungsfrequenz: http://inspire.ec.europa.eu/metadata-codelist/MaintenanceFrequencyCode/asNeeded\nDatenbestand hat Datenlieferanten\n    - name: Stadt Oberhof\nDatenbestand hat Schlagwort\n    - name: versorgungswirtschaft-und-staatliche-dienste\n    - name: kindertagesstätten\n    - name: kindergarten\n    - name: kinderbetreuung\n    - name: thüringen\n    - name: opendata\n    - name: kinderkrippe\n    - name: kita\nDatenbestand hat Kategorie\n    - name: Bildung\n    - name: Kultur und Sport\n    - name: Regierung und öffentlicher Sektor\n    - name: Regionen und Städte\n    - name: Bevölkerung und Gesellschaft\nDatenbestand hat Sprache\n    - name: Deutsch\nDatenbestand hat Ministerium\nMinisterium\n    - bezeichnung: Bundesministerium des Innern und für Heimat\n    - kurzbezeichnung: BMI\n    - ressorts: Stadt Oberhof\nDatenbestand hat Behörde\nBehoerde\n    - bezeichnung: Stadtverwaltung Oberhof\n    - kurzbezeichnung: Stadtverwaltung\n    - themen: Verwaltung, Bürgerdienste, Stadtrat, Satzungen\n    - ministerium_des_geschaeftsbereichs: Thüringer Ministerium für Inneres und Kommunales\n    - ressort: Kommunalverwaltung\nDatenbestand hat Gesetze:\nGesetz\n    - bezeichnung: Thüringer Kindertageseinrichtungsgesetz\n    - kurzbezeichnung: ThürKigaG\nDatenbestand hat Verordnung\nVerordnung\n    - referenz: https://www.hfm-weimar.de/fileadmin/user_upload/Gesetze_Ordnungen/Thueringer_Gleichstellungsgesetz.pdf\n    - bezeichnung: Thüringer Verordnung zur Bestimmung der zentralen Landesstelle für den automatisierten Datenaustausch\nVerordnung\n    - referenz: https://parldok.thueringer-landtag.de/ParlDok/dokument/72529/gesetz_und_verordnungsblatt_nr_11_2019.pdf\n    - bezeichnung: Thüringer Verordnung über die Anerkennung der Vereinbarung einer erfüllenden Gemeinde\n',
    "\nDatenbestand\n    - titel: Luftbild 2002\n    - typ: Fachverfahren\n    - kurzbeschreibung: Luftbild (Digitales Orthophoto) der Hanse- und Universitätsstadt Rostock und Umgebung von März und April 2002.\n    - allgemeine_beschreibung: Der Datensatz 'Luftbild 2002' umfasst das Luftbild (Digitales Orthophoto) der Hanse- und Universitätsstadt Rostock und Umgebung von März und April 2002 mit einer Bodenauflösung von 0,16 Metern. Die Ressourcen werden in der Regel nicht aktualisiert.\n    - fachliche_beschreibung: Der Datensatz wird von der Hanse- und Universitätsstadt Rostock bereitgestellt, speziell vom Ressort Kommunalaufsicht. Er dient der Bereitstellung historischer Luftbilder für die Öffentlichkeit.\n    - zweck: Der Datensatz wird erhoben, um historische Luftbilder der Hanse- und Universitätsstadt Rostock und Umgebung aus dem Jahr 2002 bereitzustellen.\n    - einfuehrungsjahr: 2017\n    - zeitliche_abdeckung_start: 2002-03-01T00:00:00+01:00\n    - zeitliche_abdeckung_ende: 2002-05-01T00:00:00+02:00\nDatenbestand hat Datenlieferanten\n    - name: Hanse- und Universitätsstadt Rostock\nDatenbestand hat Schlagwort\n    - name: luftbild\n    - name: Historisch\n    - name: Digitales Orthophoto\n    - name: 2002\n    - name: Bodenauflösung\n    - name: Rostock\n    - name: Luftbild\n    - name: Hanse- und Universitätsstadt\nDatenbestand hat Kategorie\n    - name: Regierung und öffentlicher Sektor\n    - name: Regionen und Städte\nDatenbestand hat politische Ebenen\n    - name: Ebene der Landkreise und Regierungsbezirke\nDatenbestand hat politisches Gebiet\n    - name: Rostock\n    - name: Hanse- und Universitätsstadt\nDatenbestand hat Sprache\n    - name: Deutsch\nDatenbestand hat geografische Abdeckung\n    - name: Rostock und Umgebung\nDatenbestand hat Ministerium\nMinisterium\n    - bezeichnung: Bundesministerium des Innern und für Heimat\n    - kurzbezeichnung: BMI\n    - ressorts: Hanse- und Universitätsstadt Rostock\nDatenbestand hat Behörde\nBehoerde\n    - bezeichnung: Hanse- und Universitätsstadt Rostock\n    - kurzbezeichnung: Rostock\n    - themen: Kommunalverwaltung, Stadtentwicklung, Öffentliche Ordnung\n    - ministerium_des_geschaeftsbereichs: Ministerium für Inneres und Europa Mecklenburg-Vorpommern\n    - ressort: Kommunalaufsicht\nDatenbestand hat Gesetze:\nGesetz\n    - bezeichnung: Bundesdatenschutzgesetz\n    - kurzbezeichnung: BDSG\nDatenbestand hat Verordnung\nVerordnung\n    - referenz: https://www.bgbl.de/xaver/bgbl/start.xav?start=%2F%2F*%5B%40attr_id%3D%27bgbl102s0027.pdf%27%5D\n    - bezeichnung: Verordnung über Art, Umfang, Beschaffenheit, Zulassung und Ausführung von Luftbildern\nVerordnung\n    - referenz: https://stadt.muenchen.de/rathaus/stadtrecht/vorschrift/831.html\n    - bezeichnung: Datenschutzrechtliche Belange bei Luftbildern\n",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Information Retrieval

• —Dataset: dim_512
• —Evaluated with <code>InformationRetrievalEvaluator</code>

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

Unnamed Dataset

• —Size: 3,262 training samples
• —Columns: <code>anchor</code> and <code>positive</code>
• —Approximate statistics based on the first 1000 samples: | | anchor | positive | |:--------|:-----------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------| | type | string | string | | details | <ul><li>min: 15 tokens</li><li>mean: 29.17 tokens</li><li>max: 53 tokens</li></ul> | <ul><li>min: 308 tokens</li><li>mean: 510.05 tokens</li><li>max: 512 tokens</li></ul> |
• —Samples: | anchor | positive | |:------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>Welche Datenbestände decken die Region Rostock und Umgebung ab und enthalten Informationen zu Verkehrswegen und -sicherheit?</code> | <code><br>Datenbestand<br> - titel: Großraum- und Schwertransportrouten<br> - typ: Fachverfahren<br> - kurzbeschreibung: Empfohlene Großraum- und Schwertransportwege in Rostock und Umgebung mit Informationen zu Straßennutzung, Baulastträgern, Bewirtschaftern und Standorten von Ingenieurbauwerken im Eigentum der Stadt Rostock, die nicht für Großraum- und Schwertransporte zugänglich sind.<br> - allgemeinebeschreibung: Der Datensatz umfasst die empfohlenen Großraum- und Schwertransportwege in der Hanse- und Universitätsstadt Rostock und Umgebung. Er enthält Informationen zu Straßennutzung, Baulastträgern, Bewirtschaftern und Standorten von Ingenieurbauwerken im Eigentum der Stadt Rostock, die nicht für Großraum- und Schwertransporte zugänglich sind. Die Ressourcen werden regelmäßig alle 365 Tage aktualisiert.<br> - fachlichebeschreibung: Der Datensatz wird von der Hanse- und Universitätsstadt Rostock bereitgestellt. Zuständige Behörden sind das Ministerium für Inneres und Europa Mecklenburg-Vorpommern mit dem Ressort Kommunalaufsicht. Die Daten enthalten wichtige Informationen für die Verkehrsplanung und -sicherheit in Rostock und Umgebung.<br> - zweck: Der Datensatz wird erhoben, um Informationen über empfohlene Großraum- und Schwertransportwege in Rostock und Umgebung bereitzustellen. Er dient der Planung und Durchführung von Großraum- und Schwertransporten sowie der Sicherstellung der Verkehrssicherheit und Infrastrukturintegrität.<br> - einfuehrungsjahr: 2018<br>Datenbestand hat Datenlieferanten<br> - name: Hanse- und Universitätsstadt Rostock<br>Datenbestand hat Schlagwort<br> - name: verkehrsinfrastruktur<br> - name: Erlaubnis<br> - name: Genehmigung<br> - name: straßennetz<br> - name: stadtverkehr<br> - name: infrastruktur<br> - name: brücke<br> - name: Großraum- und Schwertransport<br> - name: straßenverkehrstechnik<br> - name: tunnel<br> - name: verkehr<br> - name: bauwerk<br> - name: Straßenverkehrs-Ordnung<br> - name: öffentlicher-verkehr<br> - name: straße<br> - name: verkehrstechnik<br> - name: straßenverkehr<br> - name: öffentliche-straße<br> - name: Straßenverkehrszulassungsverordnung<br>Datenbestand hat Kategorie<br> - name: Verkehr<br> - name: Regierung und öffentlicher Sektor<br> - name: Regionen und Städte<br>Datenbestand hat politische Ebenen<br> - name: Ebene der Landkreise und Regierungsbezirke<br>Datenbestand hat politisches Gebiet<br> - name: Rostock<br> - name: Hanse- und Universitätsstadt<br>Datenbestand hat Sprache<br> - name: Deutsch<br>Datenbestand hat geografische Abdeckung<br> - name: Rostock und Umgebung<br>Datenbestand hat Ministerium<br>Ministerium<br> - bezeichnung: Bundesministerium des Innern und für Heimat<br> - kurzbezeichnung: BMI<br> - ressorts: Hanse- und Universitätsstadt Rostock<br>Datenbestand hat Behörde<br>Behoerde<br> - bezeichnung: Hanse- und Universitätsstadt Rostock<br> - kurzbezeichnung: Rostock<br> - themen: Kommunalverwaltung, Stadtentwicklung, Öffentliche Ordnung<br> - ministeriumdesgeschaeftsbereichs: Ministerium für Inneres und Europa Mecklenburg-Vorpommern<br> - ressort: Kommunalaufsicht<br>Datenbestand hat Gesetze:<br>Gesetz<br> - absatz: 3<br> - bezeichnung: Straßenverkehrs-Ordnung (StVO)<br> - kurzbezeichnung: StVO<br> - paragraph: § 29<br>Datenbestand hat Verordnung<br>Verordnung<br> - referenz: https://www.buzer.de/StTbV.htm<br> - bezeichnung: Straßenverkehr-Transportbegleitungsverordnung (StTbV)<br> - kurzbezeichnung: StTbV<br>Verordnung<br> - referenz: https://www.buzer.de/StTbV.htm<br> - bezeichnung: Straßenverkehrs-Zulassungs-Ordnung (StVZO)<br> - kurzbezeichnung: StVZO<br></code> | | <code>Welche Datenbestände bieten Einblicke in die Standorte und Strukturen des THW für Koordinationszwecke im Katastrophenschutz?</code> | <code><br>Datenbestand<br> - titel: Übersicht der THW-Liegenschaften<br> - typ: Fachverfahren<br> - kurzbeschreibung: Der Datensatz 'Übersicht der THW-Liegenschaften' enthält Adressen und Geoinformationen zu den Standorten des Technischen Hilfswerks (THW) in Deutschland.<br> - allgemeinebeschreibung: Der Datensatz 'Übersicht der THW-Liegenschaften' enthält Informationen über die verschiedenen Standorte des Technischen Hilfswerks (THW) in Deutschland. Dazu gehören 668 Ortsverbände, 66 Geschäftsstellen, acht Landesverbände, eine Bundesschule mit zwei Standorten und die THW-Leitung. Die Daten enthalten Adressen und Geoinformationen zu den THW-Liegenschaften.<br> - fachlichebeschreibung: Der Datensatz wird von der Bundesanstalt Technisches Hilfswerk erhoben und bereitgestellt. Das THW ist dem Bundesministerium des Innern, für Bau und Heimat unterstellt und hat als Aufgaben den Katastrophenschutz, technisch-humanitäre Hilfeleistungen und die Organisation von Einsatzkräften. Die Daten werden vom Referat Z2 - Organisation des THW geliefert und sind über das GovData Portal verfügbar.<br> - zweck: Der Datensatz wird erhoben, um einen umfassenden Überblick über die Standorte und Strukturen des Technischen Hilfswerks in Deutschland zu bieten. Er dient der Transparenz und kann für Planungs- und Koordinationszwecke im Bereich des Katastrophenschutzes und der technisch-humanitären Hilfeleistungen genutzt werden.<br> - einfuehrungsjahr: 2015<br> - zeitlicheabdeckungstart: 2015-01-01T00:00:00<br>Datenbestand hat Datenlieferanten<br> - name: Referat Z2 - Organisation<br> - name: Bundesanstalt Technisches Hilfswerk<br>Datenbestand hat Schlagwort<br> - name: THW-Landesverband<br> - name: THW-Ortsverband<br> - name: Rettung<br> - name: Katastrophenschutz<br> - name: Bergung<br> - name: THW-Leitung<br> - name: THW-Dienststellen<br> - name: technisch-humanitäre Hilfeleistungen<br> - name: THW-Liegenschaft<br> - name: Geoinformationen<br> - name: THW<br> - name: THW-Geschäftsstelle<br>Datenbestand hat Ministerium<br>Ministerium<br> - bezeichnung: Bundesministerium des Innern und für Heimat<br> - kurzbezeichnung: BMI<br> - ressorts: Bundesanstalt Technisches Hilfswerk, Referat Z2 - Organisation<br>Datenbestand hat Behörde<br>Behoerde<br> - bezeichnung: Bundesanstalt Technisches Hilfswerk<br> - kurzbezeichnung: THW<br> - themen: Katastrophenschutz, technisch-humanitäre Hilfeleistungen, Organisation von Einsatzkräften<br> - ministeriumdesgeschaeftsbereichs: Bundesministerium des Innern, für Bau und Heimat<br> - ressort: Geschäftsbereich des Bundesministeriums des Innern, für Bau und Heimat<br>Datenbestand hat Gesetze:<br>Gesetz<br> - absatz: 1<br> - bezeichnung: Gesetz über das Technische Hilfswerk (THW-Gesetz)<br> - kurzbezeichnung: THWG<br> - paragraph: § 4<br>Datenbestand hat Verordnung<br>Verordnung<br> - referenz: https://beck-online.beck.de/Normen/29337/T?pagenr=21&sortField=1&sortDirection=1<br> - bezeichnung: Technisches Hilfswerk-Auslandsunfallfürsorgeverordnung<br> - kurzbezeichnung: THW-AuslUFV<br>Verordnung<br> - referenz: https://ov-ludwigsburg.thw.de/fileadmin/userupload/LVBW/GSTU/OLUD/Mediathek/Dokumente/thwgoeaanlage00.pdf<br> - bezeichnung: Geschäftsordnung des Technischen Hilfswerks<br> - kurzbezeichnung: THW-GO<br></code> | | <code>Welche Datensätze analysieren die Geschlechterverteilung von Schulabgängern ohne Abschluss in deutschen Kreisen von 2006 bis 2021?</code> | <code><br>Datenbestand<br> - titel: Anteil von Frauen und Männern an den Abgängerinnen und Abgängern ohne ersten Schulabschluss (Hauptschulabschluss) aus allgemeinbildenden Schulen nach Kreisen<br> - typ: Fachverfahren<br> - kurzbeschreibung: Prozentualer Anteil von Frauen und Männern an Schulabgängern ohne Hauptschulabschluss nach Kreisen<br> - allgemeinebeschreibung: Der Datensatz enthält den prozentualen Anteil von Frauen und Männern an den Abgängerinnen und Abgängern ohne ersten Schulabschluss (Hauptschulabschluss) aus allgemeinbildenden Schulen nach Kreisen in Deutschland.<br> - fachlichebeschreibung: Der Datensatz wird vom Bundesministerium für Familie, Senioren, Frauen und Jugend bereitgestellt und enthält Informationen über den Anteil von Frauen und Männern an Schulabgängern ohne ersten Schulabschluss aus allgemeinbildenden Schulen in Deutschland. Die Daten werden nach Kreisen aufgeschlüsselt und dienen der Analyse der Bildungssituation in verschiedenen Regionen des Landes.<br> - zweck: Der Datensatz wird erhoben, um die Geschlechterverteilung bei Schulabgängern ohne Hauptschulabschluss in verschiedenen Regionen Deutschlands zu analysieren und mögliche Maßnahmen zur Verbesserung der Bildungschancen zu entwickeln.<br> - einfuehrungsjahr: 2023<br> - zeitlicheabdeckungstart: 2006-01-01<br> - zeitlicheabdeckungende: 2021-12-31<br>Datenbestand hat Datenlieferanten<br> - name: Bundesministerium für Familie<br> - name: Frauen und Jugend<br> - name: Senioren<br>Datenbestand hat Schlagwort<br> - name: bildung<br> - name: schulabbrecher<br> - name: gleichstellung<br> - name: schulabschluss<br> - name: schule<br>Datenbestand hat Kategorie<br> - name: Bevölkerung und Gesellschaft<br>Datenbestand hat politische Ebenen<br> - name: Ebene der Landkreise und Regierungsbezirke<br>Datenbestand hat Sprache<br> - name: Deutsch<br>Datenbestand hat geografische Abdeckung<br> - name: Bundesrepublik Deutschland<br> - name: aufgeschlüsselt nach Kreisen<br>Datenbestand hat Ministerium<br>Ministerium<br> - bezeichnung: Bundesministerium für Familie, Senioren, Frauen und Jugend<br> - kurzbezeichnung: BMFSFJ<br> - ressorts: Familie, Senioren, Frauen, Jugend<br>Datenbestand hat Behörde<br>Behoerde<br> - bezeichnung: Bundesministerium für Familie, Senioren, Frauen und Jugend<br> - kurzbezeichnung: BMFSFJ<br> - ministeriumdesgeschaeftsbereichs: Bundesministerium für Familie, Senioren, Frauen und Jugend<br> - ressort: Bundesministerium für Familie, Senioren, Frauen und Jugend<br>Datenbestand hat Gesetze:<br>Gesetz<br> - bezeichnung: E-Government-Gesetz<br>Datenbestand hat Verordnung<br>Verordnung<br>Verordnung<br> - referenz: https://recht.nrw.de/lmi/owa/brvbldetailtext?anwnr=6&vdid=20346&vd_back=N405&sg=0&menu=0<br> - bezeichnung: § 50 Schulgesetz NRW<br></code> |
• —Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          512
      ],
      "matryoshka_weights": [
          1
      ],
      "n_dims_per_step": -1
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: epoch
• —learning_rate: 1e-05
• —warmup_ratio: 0.1
• —bf16: True
• —tf32: False
• —load_best_model_at_end: True

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: epoch
• —prediction_loss_only: True
• —per_device_train_batch_size: 8
• —per_device_eval_batch_size: 8
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 1e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 3
• —max_steps: -1
• —lr_scheduler_type: linear
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: True
• —fp16: False
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: False
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: False
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: True
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamw_torch
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: False
• —hub_always_push: False
• —gradient_checkpointing: False
• —gradient_checkpointing_kwargs: None
• —include_inputs_for_metrics: False
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —dispatch_batches: None
• —split_batches: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —eval_use_gather_object: False
• —batch_sampler: batch_sampler
• —multi_dataset_batch_sampler: proportional

</details>

Training Logs

• —The bold row denotes the saved checkpoint.

Framework Versions

• —Python: 3.10.12
• —Sentence Transformers: 3.1.1
• —Transformers: 4.45.2
• —PyTorch: 2.4.1+cu121
• —Accelerate: 1.0.0
• —Datasets: 3.0.1
• —Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Model Card Contact

Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors. -->