ertoluk/ai-metin-dedektor

AI Metin Dedektörü

Bir metnin yapay zekâ ile yazılmış olup olmadığını tahmin eden ikili sınıflandırıcı. Türkçe ve İngilizce. Temel model: xlm-roberta-base.

Sınıflar: 0 = insan, 1 = AI

Ölçümler (test seti)

Karar eşikleri

Bu model ikili karar için değil, üç bantlı kullanım için kalibre edildi:

• —skor < 0.480 → insan yazmış
• —0.480 – 0.950 → emin değilim (insan incelemesi gerekir)
• —skor > 0.950 → AI yazmış

Eşikler, insan metnine yanlışlıkla "AI" deme oranını %2 seviyesinin altında tutacak şekilde doğrulama setinden hesaplandı.

Sınırlar

• —60 kelimenin altındaki metinlerde güvenilmez.
• —Yeniden yazılmış / parafraz edilmiş AI metinlerini kaçırabilir.
• —Eğitim verisi haber ve ansiklopedi metinlerine dayanır; çok farklı bir alanda (şiir, teknik doküman, sohbet kaydı) performans düşer.
• —Bu bir kanıt aracı değildir; kimseyi tek başına bu skora dayanarak suçlamayın.

Kullanım

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tok = AutoTokenizer.from_pretrained("ertoluk/ai-metin-dedektor")
model = AutoModelForSequenceClassification.from_pretrained("ertoluk/ai-metin-dedektor").eval()

g = tok(metin, truncation=True, max_length=256, return_tensors="pt")
with torch.no_grad():
    ai_olasiligi = torch.softmax(model(**g).logits, -1)[0, 1].item()