msbayindir/turkish-legal-bert-base-uncased-stsb-v1-sts

SentenceTransformer based on dbmdz/bert-base-turkish-uncased

This is a sentence-transformers model finetuned from dbmdz/bert-base-turkish-uncased on the legal_stsb_dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• —Model Type: Sentence Transformer
• —Base model: dbmdz/bert-base-turkish-uncased <!-- at revision 6cb8cd880acc6f7d9723161b573fce0dfd23b39b -->
• —Maximum Sequence Length: 256 tokens
• —Output Dimensionality: 768 dimensions
• —Similarity Function: Cosine Similarity
• —Training Dataset:
• —legal_stsb_dataset <!-- - Language: Unknown --> <!-- - License: Unknown -->

Model Sources

• —Documentation: Sentence Transformers Documentation
• —Repository: Sentence Transformers on GitHub
• —Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("msbayindir/turkish-legal-bert-base-uncased-stsb-v1-sts")
# Run inference
sentences = [
    'Davacı vekili, dava dilekçesinde özetle; davaya konu çekin kaybolduğunu, söz konusu çekin üçüncü kişilerin eline geçmesi halinde müvekkii şirketin zarara uğrayacağını, kötü niyetli üçüncü kişilerin haksız şekilde yararlanarak sebepsiz zenginleşmesine mahal vermemek adına ve müvekkili şirketin mağdur olmaması için ihtiyati tedbir kararı verilerek ödeme yasağı konulmasına ve söz konusu çekin kaybolması nedeni ile iptaline karar verilmesini talep etmiştir.',
    'Poliçenin getirilmesine ilişkin ilan, 35 inci maddede yazılı gazete ile üç defa yapılır.Özellik gösteren olaylarda, mahkeme, uygun göreceği daha başka ilan önlemlerine de başvurabilir.',
    'Kıymetli evrak zayi olduğu takdirde mahkeme tarafından iptaline karar verilebilir.Kıymetli evrakın zayi olduğu veya zıyaın ortaya çıktığı anda senet üzerinde hak sahibi olan kişi, senedin iptaline karar verilmesini isteyebilir.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

Evaluation

Metrics

Semantic Similarity

• —Datasets: sts-dev and sts-test
• —Evaluated with <code>EmbeddingSimilarityEvaluator</code>

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Training Details

Training Dataset

legalstsbdataset

• —Dataset: legal_stsb_dataset at 8118fd0
• —Size: 23,103 training samples
• —Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
• —Approximate statistics based on the first 1000 samples: | | sentence1 | sentence2 | score | |:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:----------------------------------------------------------------| | type | string | string | float | | details | <ul><li>min: 12 tokens</li><li>mean: 85.75 tokens</li><li>max: 212 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 85.87 tokens</li><li>max: 198 tokens</li></ul> | <ul><li>min: 0.14</li><li>mean: 0.61</li><li>max: 1.0</li></ul> |
• —Samples: | sentence1 | sentence2 | score | |:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------| | <code>Davacı vekili dava dilekçesinde özetle; müvekkili şirketin yönetim kurulunu oluşturan üyeler arasında anlaşmazlık bulunduğunu, şirketin borca batık olduğunu belirterek borca batık şirketin iflasına, şirkete idari kayyum atanmasına, şirket ile ilgili her türlü muhafaza tedbirlerinin alınmasını talep ve dava etmiştir.</code> | <code>Davacı vekili dava dilekçesinde özetle; müvekkilinin gıda sektöründe faaliyet gösterdiğini, özellikle çalıştığını, ancak yılında ülke genelinde yaşanan piyasalardaki ekonomik durumdan etkilendiğini, banka kredilerindeki daralmalar nedeniyle nakit akışında sıkıntı çekildiğini, artan faizlerle birlikte şirketin borca batık hale geldiğini belirterek ekte sunulan iyileştirme projelerine göre faaliyetlerine devam etmeleri halinde borca batıklıktan kurtulabileceklerini belirterek sonuçta İİK 179 ve devamı maddeleri uyarınca her iki davacı şirketin bir yıl süreyle ertelenmesine karar verilmesini istemiştir.</code> | <code>0.6354198455810547</code> | | <code>Davacı vekili dava dilekçesinde özetle; Dava konusu alacağın davacı şirketin ticari defter ve kayıtlarında sabit olduğu, itirazda bulunan davalının %20 'den aşağı olmamak üzere icra inkar tazminatına mahkum edilmesi gerektiği, taraflar arasında arabuluculuk görüşmelerine ait arabuluculuk son tutanağı dava dilekçesi ekine sunduğunu, açıklanan sebeplerden dolayı davalı tarafın icra inkar tazminatına hükmedilmesini, yargılama giderlerinin davalı tarafa yükletilmesine karar verilmesini talep ettiği görülmüştür.</code> | <code>Alıcı, devraldığı satılanın durumunu işlerin olağan akışına göre imkân bulunur bulunmaz gözden geçirmek ve satılanda satıcının sorumluluğunu gerektiren bir ayıp görürse, bunu uygun bir süre içinde ona bildirmek zorundadır. Alıcı gözden geçirmeyi ve bildirimde bulunmayı ihmal ederse, satılanı kabul etmiş sayılır. Ancak, satılanda olağan bir gözden geçirmeyle ortaya çıkarılamayacak bir ayıp bulunması hâlinde, bu hüküm uygulanmaz. Bu tür bir ayıbın bulunduğu sonradan anlaşılırsa, hemen satıcıya bildirilmelidir; bildirilmezse satılan bu ayıpla birlikte kabul edilmiş sayılır.</code> | <code>0.5559174418449402</code> | | <code>Davacı vekili dava dilekçesinde özetle; bank Şubesi'ne () ait, 15.03.2022 tarihli, 75.000,00 TL bedelli, Iban No'lu, seri no'lu bir adet çekin müvekkilinin elindeyken kaybolduğunu, müvekkilinin kaybolan çek nedeniyle mağdur olmaması için öncelikle çek üzerine ödeme yasağı konulmasını ve çekin iptaline karar verilmesini talep ve dava etmiştir.</code> | <code>Davacı vekili dava dilekçesinde özetle; müvekkilinin " Bankası / Şubesi'nin seri numaralı, keşidecisi Tic. Ve San. Ltd. () şirket yetkilisi olan, 25/12/2020 keşide tarihli, 24.751,68 TL bedelli, bir adet çekin kaybedildiğini beyanla öncelikle çek üzerinde ödeme yasağı karar verilmesini, yapılacak yargılama neticesinde çeklerin iptaline karar verilmesini talep etmiştir.</code> | <code>0.7215161919593811</code> |
• —Loss: <code>CosineSimilarityLoss</code> with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }

Evaluation Dataset

legalstsbdataset

• —Dataset: legal_stsb_dataset at 8118fd0
• —Size: 2,887 evaluation samples
• —Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
• —Approximate statistics based on the first 1000 samples: | | sentence1 | sentence2 | score | |:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:---------------------------------------------------------------| | type | string | string | float | | details | <ul><li>min: 12 tokens</li><li>mean: 88.39 tokens</li><li>max: 206 tokens</li></ul> | <ul><li>min: 16 tokens</li><li>mean: 87.14 tokens</li><li>max: 198 tokens</li></ul> | <ul><li>min: 0.14</li><li>mean: 0.6</li><li>max: 1.0</li></ul> |
• —Samples: | sentence1 | sentence2 | score | |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------| | <code>Davacı vekili dava dilekçesinde özetle; müvekkilinin dilekçe içeriğinde bildirdiği çekin yasal hamili olduğunu, çekin kaybediğildiğini belirterek çekin üzerine ödeme yasağı konulması ile çekin iptaline karar verilmesini talep ve dava etmiştir.</code> | <code>Davacı vekili dava dilekçesinde özetle; müvekkili olan davacının hamili olduğu bedelli hamiline yazılı çekin kaybolduğunu, çekin üçüncü kişiler tarafından bulunması halinde müvekkili olan davacının mağduriyet yaşayacağını dermeyan etmiş, öncelikle davaya konu edilen çek hakkında ihtiyati tedbir (ödemeden men) kararı verilmesi ile çekin zayi nedeniyle iptaline karar verilmesini talep ve dava etmiştir.</code> | <code>0.913142204284668</code> | | <code>Davacı vekili dava dilekçesinde özetle; Müvekkili şirkete ait 2 adet çek yaprağının kaybolduğunu, çeklerin doldurulmadığını ve şirket yetkilisinin imzasının da bulunmadığını ancak banka nezdinde hala risk olarak göründüğünü beyanla çeklerin iptalini ve ödemeden men yasağı verilmesini talep ve dava etmiştir.</code> | <code>Davacı vekili dava dilekçesinde özetle; Bankası A.Ş. Gültepe/İzmir Şubesine ait, 03.02.2022 tarihli, seri no’lu 20.000,00 TL bedelli çekin kaybolması ve bulunamaması nedeniyle çekin iptaline, davacı şirketin ileride zarara uğramasının önlenmesi bakımından çek bedelinin bankaca ödenmemesi yönünde karar kesinleşene kadar ödeme yasağı konulmasına karar verilmesini talep ve dava etmiştir.</code> | <code>0.758105456829071</code> | | <code>Davacı vekili dava dilekçesinde özetle; müvekkillerinin davalı şirkette % 33 oranında pay sahibi olduklarını, geri kalan hisseye sahip olan davalıların uzun yıllardır müdür olarak görev yaptıklarını, yıldır kâr payı dağıtılmadığını, müvekkillerinin inceleme, bilgi alma ve genel kurula katılarak oy kullanma haklarının engellendiğini, davalı şahısların kendilerini alacaklı gösterdiklerini, müvekkillerinin genel kurulun toplantıya çağrılması ve özel denetim yapılmasını talep ettiğini, davalılar tarafından gönderilen cevabi ihtarnamede genel kurulun -tarihinde toplandığının, mali tabloların kabul edilerek müdürlerin ibra edildiğinin ve geçmiş yıl kârlarının ne şekilde tasarruf edileceğinin karara bağlandığının bildirildiğini oysa, çağrının usulüne uygun yapılmadığını, genel kurulda alınan kararların da kanuna, ana sözleşmeye ve iyiniyet kurallarına aykırı olduğunu ileri sürerek, genel kurul kararlarının yokluğunun tespiti ile iptaline ve şirkete özel denetçi atanmasına karar verilmesini ta...</code> | <code>Tescil kaydı ile ilan edilen durum arasında aykırılık bulunması hâlinde, tescil edilmiş olan gerçek durumu bildikleri ispat edilmediği sürece, üçüncü kişilerin ilan edilen duruma güvenleri korunur.</code> | <code>0.4380776286125183</code> |
• —Loss: <code>CosineSimilarityLoss</code> with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: steps
• —per_device_train_batch_size: 64
• —per_device_eval_batch_size: 64
• —num_train_epochs: 4
• —warmup_ratio: 0.1
• —fp16: True

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: steps
• —prediction_loss_only: True
• —per_device_train_batch_size: 64
• —per_device_eval_batch_size: 64
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 5e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 4
• —max_steps: -1
• —lr_scheduler_type: linear
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: False
• —fp16: True
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: None
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: False
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: False
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamw_torch
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: None
• —hub_always_push: False
• —gradient_checkpointing: False
• —gradient_checkpointing_kwargs: None
• —include_inputs_for_metrics: False
• —include_for_metrics: []
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —dispatch_batches: None
• —split_batches: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —eval_use_gather_object: False
• —average_tokens_across_devices: False
• —prompts: None
• —batch_sampler: batch_sampler
• —multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• —Python: 3.11.11
• —Sentence Transformers: 3.3.1
• —Transformers: 4.47.1
• —PyTorch: 2.5.1+cu124
• —Accelerate: 1.2.1
• —Datasets: 3.2.0
• —Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Model Card Contact

Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors. -->