barandinho/distilbert-base-turkish-cased-toxic-lang

<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->

Modelin açıklaması (model description)

Bu model distilbert-base-turkish'in turkish-toxic-language dataset'i üzerinde fine-tune edilmiş versiyonudur.

Sonuçlar (results)

Model google colab üzerinde T4 GPU ile yaklaşık 1.5 saatte eğitilmiştir. Eğitim parametleri aşağıda verilmiştir.

Model evaluation veri setinde şu değerlere ulaşmıştır:

• —Loss: 0.2019
• —Accuracy: 0.9287

Modelin kullanım amacı (intended uses)

Verilen Türkçe cümlenin toksik olup olmadığını tespit edip etiketleme amaçlı kullanılmaktadır.

Etiketler :

OTHER : Toksik değil\ INSULT : Hakaret\ PROFANITY : Küfür\ SEXIST : Cinsiyetçilik\ RACIST : Irkçılık

Modelin Kullanılması (Usage)

from transformers import pipeline

pipe = pipeline("sentiment-analysis", model="barandinho/distilbert-base-turkish-cased-toxic-lang")

Training ve evaluation verisi (training and evaluation data)

Model en başta training ve evaluation diye ayrılıp 2 epoch boyunca eğitilmiştir. Modelin başarısı doğrulanınca training ve evaluation veri setleri birleştirilip 3 epoch boyunca tekrardan eğitilecektir.

Eğitilirken kullanılan parametreler (training hyperparameters)

• —learning_rate: 5e-05
• —trainbatchsize: 32
• —evalbatchsize: 32
• —seed: 42
• —gradientaccumulationsteps: 2
• —totaltrainbatch_size: 64
• —optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• —lrschedulertype: linear
• —lrschedulerwarmup_steps: 500
• —num_epochs: 2

Eğitim sonuçları (training results)

Framework versiyonları (framework versions)

• —Transformers 4.35.2
• —Pytorch 2.1.0+cu121
• —Datasets 2.16.1
• —Tokenizers 0.15.1