Data-Lab/multilingual-e5-large-instruct-embedder-tg
090
1---2base_model: intfloat/multilingual-e5-large-instruct3library_name: sentence-transformers4metrics:5- cosine_accuracy6- dot_accuracy7- manhattan_accuracy8- euclidean_accuracy9- max_accuracy10pipeline_tag: sentence-similarity11tags:12- sentence-transformers13- sentence-similarity14- feature-extraction15- generated_from_trainer16- dataset_size:1019017- loss:TripletLoss18widget:19- source_sentence: безглютеновый хлеб20 sentences:21 - 'Instruct: Найти похожие продукты на основе деталей22 23 Query: Баклажаны по-сычуаньски баклажаны, азиатская кухня, закуска, терияки, сладкий24 соус, пряный вкус, овощное блюдо, вегетарианское, пикантное, жареное, замаринованное,25 кунжут, чеснок, имбирь, рыба, рисовый уксус'26 - 'Instruct: Найти похожие продукты на основе деталей27 28 Query: Сорбет "Манго- Маракуйя" без доб. сахара сладость, десерт, веганский, без29 сахара, низкокалорийный, охлаждающий, тропические фрукты, натуральный, диетический,30 сахарозаменитель, фруктовый, без добавок, здоровье'31 - 'Instruct: Найти похожие продукты на основе деталей32 33 Query: Изделие х/б без глютена с семенами безглютеновый, хлеб, рисовая мука, семена,34 клетчатка, полезный, сытный, ароматный, выпечка, гастрономия'35- source_sentence: арома саше36 sentences:37 - 'Instruct: Найти похожие продукты на основе деталей38 39 Query: Мандарины Хатайские сладкие мандарины, Хатай, сладкие, сорта, Надоркотт,40 цитрусовые, фрукты, свежие'41 - 'Instruct: Найти похожие продукты на основе деталей42 43 Query: Арома-саше "№13 Warm Tobacco" Aroma Garmony, 10 гр аромат, саше, натуральный,44 древесный, табачный, освежитель, упаковка, автомобиль, комод, шкафчик'45 - 'Instruct: Найти похожие продукты на основе деталей46 47 Query: Творог зерненый Карат Домашний 4% 200 г творог, домашний, зерненый, натуральный,48 без консервантов, без добавок, полезный завтрак, продукт из молока, умеренная49 жирность, Россия'50- source_sentence: almette51 sentences:52 - 'Instruct: Найти похожие продукты на основе деталей53 54 Query: Конфеты Scandic Лесные ягоды без сахара 14 г без сахара, низкий гликемический55 индекс, очищение зубов, свежесть, ягодные конфеты, Россия'56 - 'Instruct: Найти похожие продукты на основе деталей57 58 Query: Жареный рис с креветками жареный рис, морепродукты, азиатская кухня, яйцо,59 овощи, жасминный рис, креветки'60 - 'Instruct: Найти похожие продукты на основе деталей61 62 Query: Сыр творожный Almette с зеленью 150 г None, сыр, творожный, закуски, бутерброды,63 сливочный, зелень'64- source_sentence: низкокалорийная закуска без сахара для семьи без орехов с высоким65 содержанием белка66 sentences:67 - 'Instruct: Найти похожие продукты на основе деталей68 69 Query: Чебурек с телятиной чебурек, телятина, фарш, кинза, хрустящий, мясо, закуска,70 фритюр'71 - 'Instruct: Найти похожие продукты на основе деталей72 73 Query: Печенье протеиновое в шоколаде без доб. сахара протеин, белок, порционная74 упаковка, тренировка, здоровое питание, сладости без сахара, молочный шоколад,75 снек'76 - 'Instruct: Найти похожие продукты на основе деталей77 78 Query: Суп "Куриный" с домашней лапшой, 1 кг куриный суп, домашняя лапша, свежие79 овощи, зелень, специи, сытное блюдо, семейный обед, пищевая безопасность, аллергены'80- source_sentence: паста томатная81 sentences:82 - 'Instruct: Найти похожие продукты на основе деталей83 84 Query: Паста томатная, 250 г томатная паста, кулинария, свежие ингредиенты, насыщенный85 вкус, универсальное применение, консистенция'86 - 'Instruct: Найти похожие продукты на основе деталей87 88 Query: Сыр ''Страчателла'' 150 г None, сыр, сливки, закуски, салаты, пицца, паста,89 гастрономия, итальянская кухня'90 - 'Instruct: Найти похожие продукты на основе деталей91 92 Query: Соус Filippo Berio томатный Арраббьята 340 г соус, итальянская кухня, без93 консервантов, для пасты, острый, натуральные ингредиенты, высокое качество, томатный94 соус, органические продукты'95model-index:96- name: SentenceTransformer based on intfloat/multilingual-e5-large-instruct97 results:98 - task:99 type: triplet100 name: Triplet101 dataset:102 name: dev103 type: dev104 metrics:105 - type: cosine_accuracy106 value: 0.9285083848190644107 name: Cosine Accuracy108 - type: dot_accuracy109 value: 0.07149161518093557110 name: Dot Accuracy111 - type: manhattan_accuracy112 value: 0.9285083848190644113 name: Manhattan Accuracy114 - type: euclidean_accuracy115 value: 0.9285083848190644116 name: Euclidean Accuracy117 - type: max_accuracy118 value: 0.9285083848190644119 name: Max Accuracy120---121 122# SentenceTransformer based on intfloat/multilingual-e5-large-instruct123 124This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large-instruct](https://huggingface.co/intfloat/multilingual-e5-large-instruct). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.125 126## Model Details127 128### Model Description129- **Model Type:** Sentence Transformer130- **Base model:** [intfloat/multilingual-e5-large-instruct](https://huggingface.co/intfloat/multilingual-e5-large-instruct) <!-- at revision c9e87c786ffac96aeaeb42863276930883923ecb -->131- **Maximum Sequence Length:** 512 tokens132- **Output Dimensionality:** 1024 tokens133- **Similarity Function:** Cosine Similarity134<!-- - **Training Dataset:** Unknown -->135<!-- - **Language:** Unknown -->136<!-- - **License:** Unknown -->137 138### Model Sources139 140- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)141- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)142- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)143 144### Full Model Architecture145 146```147SentenceTransformer(148 (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 149 (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})150 (2): Normalize()151)152```153 154## Usage155 156### Direct Usage (Sentence Transformers)157 158First install the Sentence Transformers library:159 160```bash161pip install -U sentence-transformers162```163 164Then you can load this model and run inference.165```python166from sentence_transformers import SentenceTransformer167 168# Download from the 🤗 Hub169model = SentenceTransformer("Data-Lab/multilingual-e5-large-instruct-embedder-tg")170# Run inference171sentences = [172 'паста томатная',173 'Instruct: Найти похожие продукты на основе деталей\nQuery: Паста томатная, 250 г томатная паста, кулинария, свежие ингредиенты, насыщенный вкус, универсальное применение, консистенция',174 'Instruct: Найти похожие продукты на основе деталей\nQuery: Соус Filippo Berio томатный Арраббьята 340 г соус, итальянская кухня, без консервантов, для пасты, острый, натуральные ингредиенты, высокое качество, томатный соус, органические продукты',175]176embeddings = model.encode(sentences)177print(embeddings.shape)178# [3, 1024]179 180# Get the similarity scores for the embeddings181similarities = model.similarity(embeddings, embeddings)182print(similarities.shape)183# [3, 3]184```185 186<!--187### Direct Usage (Transformers)188 189<details><summary>Click to see the direct usage in Transformers</summary>190 191</details>192-->193 194<!--195### Downstream Usage (Sentence Transformers)196 197You can finetune this model on your own dataset.198 199<details><summary>Click to expand</summary>200 201</details>202-->203 204<!--205### Out-of-Scope Use206 207*List how the model may foreseeably be misused and address what users ought not to do with the model.*208-->209 210## Evaluation211 212### Metrics213 214#### Triplet215* Dataset: `dev`216* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)217 218| Metric | Value |219|:-------------------|:-----------|220| cosine_accuracy | 0.9285 |221| dot_accuracy | 0.0715 |222| manhattan_accuracy | 0.9285 |223| euclidean_accuracy | 0.9285 |224| **max_accuracy** | **0.9285** |225 226<!--227## Bias, Risks and Limitations228 229*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*230-->231 232<!--233### Recommendations234 235*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*236-->237 238## Training Details239 240### Training Dataset241 242#### Unnamed Dataset243 244 245* Size: 10,190 training samples246* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>sentence_2</code>247* Approximate statistics based on the first 1000 samples:248 | | sentence_0 | sentence_1 | sentence_2 |249 |:--------|:---------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|250 | type | string | string | string |251 | details | <ul><li>min: 3 tokens</li><li>mean: 7.77 tokens</li><li>max: 30 tokens</li></ul> | <ul><li>min: 34 tokens</li><li>mean: 68.57 tokens</li><li>max: 180 tokens</li></ul> | <ul><li>min: 39 tokens</li><li>mean: 70.46 tokens</li><li>max: 116 tokens</li></ul> |252* Samples:253 | sentence_0 | sentence_1 | sentence_2 |254 |:-------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|255 | <code>хурма</code> | <code>Instruct: Найти похожие продукты на основе деталей<br>Query: Чипсы из хурмы, 25 г чипсы, натуральные, фрукты, перекус, сладкий вкус, десерт</code> | <code>Instruct: Найти похожие продукты на основе деталей<br>Query: Салат мимоза, 300 г салат, праздничный стол, обед, горбуша, отварные овощи, куриные желтки, классический рецепт, нежный вкус, закуска</code> |256 | <code>жареное мясо</code> | <code>Instruct: Найти похожие продукты на основе деталей<br>Query: Жареная говядина с черным перцем жареное мясо, приготовление, специи, соусы, овощи</code> | <code>Instruct: Найти похожие продукты на основе деталей<br>Query: Каша рисовая на безлактозном молоке безлактозное молоко, рисовая каша, завтрак на ходу, низкое содержание жира, альтернативное молоко, легкая сладость, удобная упаковка, подходящий для аллергиков</code> |257 | <code>бедро цыпленка бройлера</code> | <code>Instruct: Найти похожие продукты на основе деталей<br>Query: Бедро цыплят-бройлеров Халяль 1 кг None, цыпленок, мясо, бройлер, халяль, бедро, маринование, тушение, запекание, None</code> | <code>Instruct: Найти похожие продукты на основе деталей<br>Query: Мясо бедра (Филе бедра) индейки в маринаде "Чесночный" 1 кг None, мясо, индейка, филе, маринад, чеснок, диетическое, нежирное, острое, травы, 1 кг, None</code> |258* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:259 ```json260 {261 "distance_metric": "TripletDistanceMetric.COSINE",262 "triplet_margin": 0.5263 }264 ```265 266### Training Hyperparameters267#### Non-Default Hyperparameters268 269- `eval_strategy`: steps270- `per_device_train_batch_size`: 4271- `per_device_eval_batch_size`: 4272- `fp16`: True273- `multi_dataset_batch_sampler`: round_robin274 275#### All Hyperparameters276<details><summary>Click to expand</summary>277 278- `overwrite_output_dir`: False279- `do_predict`: False280- `eval_strategy`: steps281- `prediction_loss_only`: True282- `per_device_train_batch_size`: 4283- `per_device_eval_batch_size`: 4284- `per_gpu_train_batch_size`: None285- `per_gpu_eval_batch_size`: None286- `gradient_accumulation_steps`: 1287- `eval_accumulation_steps`: None288- `torch_empty_cache_steps`: None289- `learning_rate`: 5e-05290- `weight_decay`: 0.0291- `adam_beta1`: 0.9292- `adam_beta2`: 0.999293- `adam_epsilon`: 1e-08294- `max_grad_norm`: 1295- `num_train_epochs`: 3296- `max_steps`: -1297- `lr_scheduler_type`: linear298- `lr_scheduler_kwargs`: {}299- `warmup_ratio`: 0.0300- `warmup_steps`: 0301- `log_level`: passive302- `log_level_replica`: warning303- `log_on_each_node`: True304- `logging_nan_inf_filter`: True305- `save_safetensors`: True306- `save_on_each_node`: False307- `save_only_model`: False308- `restore_callback_states_from_checkpoint`: False309- `no_cuda`: False310- `use_cpu`: False311- `use_mps_device`: False312- `seed`: 42313- `data_seed`: None314- `jit_mode_eval`: False315- `use_ipex`: False316- `bf16`: False317- `fp16`: True318- `fp16_opt_level`: O1319- `half_precision_backend`: auto320- `bf16_full_eval`: False321- `fp16_full_eval`: False322- `tf32`: None323- `local_rank`: 0324- `ddp_backend`: None325- `tpu_num_cores`: None326- `tpu_metrics_debug`: False327- `debug`: []328- `dataloader_drop_last`: True329- `dataloader_num_workers`: 0330- `dataloader_prefetch_factor`: None331- `past_index`: -1332- `disable_tqdm`: False333- `remove_unused_columns`: True334- `label_names`: None335- `load_best_model_at_end`: False336- `ignore_data_skip`: False337- `fsdp`: []338- `fsdp_min_num_params`: 0339- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}340- `fsdp_transformer_layer_cls_to_wrap`: None341- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}342- `deepspeed`: None343- `label_smoothing_factor`: 0.0344- `optim`: adamw_torch345- `optim_args`: None346- `adafactor`: False347- `group_by_length`: False348- `length_column_name`: length349- `ddp_find_unused_parameters`: None350- `ddp_bucket_cap_mb`: None351- `ddp_broadcast_buffers`: False352- `dataloader_pin_memory`: True353- `dataloader_persistent_workers`: False354- `skip_memory_metrics`: True355- `use_legacy_prediction_loop`: False356- `push_to_hub`: False357- `resume_from_checkpoint`: None358- `hub_model_id`: None359- `hub_strategy`: every_save360- `hub_private_repo`: False361- `hub_always_push`: False362- `gradient_checkpointing`: False363- `gradient_checkpointing_kwargs`: None364- `include_inputs_for_metrics`: False365- `eval_do_concat_batches`: True366- `fp16_backend`: auto367- `push_to_hub_model_id`: None368- `push_to_hub_organization`: None369- `mp_parameters`: 370- `auto_find_batch_size`: False371- `full_determinism`: False372- `torchdynamo`: None373- `ray_scope`: last374- `ddp_timeout`: 1800375- `torch_compile`: False376- `torch_compile_backend`: None377- `torch_compile_mode`: None378- `dispatch_batches`: None379- `split_batches`: None380- `include_tokens_per_second`: False381- `include_num_input_tokens_seen`: False382- `neftune_noise_alpha`: None383- `optim_target_modules`: None384- `batch_eval_metrics`: False385- `eval_on_start`: False386- `eval_use_gather_object`: False387- `batch_sampler`: batch_sampler388- `multi_dataset_batch_sampler`: round_robin389 390</details>391 392### Training Logs393| Epoch | Step | Training Loss | dev_max_accuracy |394|:------:|:----:|:-------------:|:----------------:|395| 0.3928 | 500 | 0.2652 | - |396| 0.7855 | 1000 | 0.1742 | 0.9241 |397| 1.0 | 1273 | - | 0.9179 |398| 1.1783 | 1500 | 0.1526 | - |399| 1.5711 | 2000 | 0.1237 | 0.9197 |400| 1.9639 | 2500 | 0.0983 | - |401| 2.0 | 2546 | - | 0.9197 |402| 2.3566 | 3000 | 0.0881 | 0.9294 |403| 2.7494 | 3500 | 0.0711 | - |404| 3.0 | 3819 | - | 0.9285 |405 406 407### Framework Versions408- Python: 3.10.12409- Sentence Transformers: 3.2.0410- Transformers: 4.44.0411- PyTorch: 2.3.1+cu121412- Accelerate: 0.31.0413- Datasets: 2.20.0414- Tokenizers: 0.19.1415 416## Citation417 418### BibTeX419 420#### Sentence Transformers421```bibtex422@inproceedings{reimers-2019-sentence-bert,423 title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",424 author = "Reimers, Nils and Gurevych, Iryna",425 booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",426 month = "11",427 year = "2019",428 publisher = "Association for Computational Linguistics",429 url = "https://arxiv.org/abs/1908.10084",430}431```432 433#### TripletLoss434```bibtex435@misc{hermans2017defense,436 title={In Defense of the Triplet Loss for Person Re-Identification},437 author={Alexander Hermans and Lucas Beyer and Bastian Leibe},438 year={2017},439 eprint={1703.07737},440 archivePrefix={arXiv},441 primaryClass={cs.CV}442}443```444 445<!--446## Glossary447 448*Clearly define terms in order to be accessible across audiences.*449-->450 451<!--452## Model Card Authors453 454*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*455-->456 457<!--458## Model Card Contact459 460*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*461-->