seali/gemma3-4b-turkce-saglik-lora

Gemma 3 4B — Türkçe Sağlık LoRA Adaptörü

unsloth/gemma-3-4b-it modelinin Türkçe sağlık soru-cevap veri setiyle eğitilmiş LoRA adaptörü. Model, soruyu önce <think> bloğunda muhakeme eder, ardından cevabı verir.

Kullanım

from unsloth import FastModel
from unsloth.chat_templates import get_chat_template

model, tokenizer = FastModel.from_pretrained(
    "seali/gemma3-4b-turkce-saglik-lora",
    max_seq_length=4096,
    load_in_4bit=True,
)
FastModel.for_inference(model)
tokenizer = get_chat_template(tokenizer, chat_template="gemma-3")

system = (
    "Sen Türkçe konuşan bir sağlık bilgilendirme asistanısın. Genel tıbbi "
    "bilgi verirsin; teşhis koymaz, ilaç veya doz önermezsin."
)
messages = [{
    "role": "user",
    "content": [{"type": "text", "text": f"{system}\n\nTip 2 diyabet nedir?"}],
}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_tensors="pt", return_dict=True,
).to("cuda")

outputs = model.generate(**inputs, max_new_tokens=1200, temperature=1.0,
                         top_p=0.95, top_k=64)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:],
                       skip_special_tokens=True))

Üretim sırasında max_new_tokens değerinin yeterince büyük olması gerekir: muhakeme bloğu tek başına yaklaşık 800 token tutuyor, cevabın da sığması için en az 1200 önerilir.

Eğitim

Eğitim Unsloth'un resmî Gemma 3 (4B) notebook'u.ipynb) temel alınarak yapılmıştır.

MMLU Benchmark (Türkçe)

Model, alibayram/yapay_zeka_turkce_mmlu veri setinin tamamı (6200 soru, 62 bölüm) üzerinde ölçüldü. Değerlendirme mantığı ve prompt biçimi resmî ölçüm koduyla aynıdır; yalnızca çıkarım ollama yerine unsloth ile deterministik (greedy) yapılmıştır.

Fine-tune, genel bilgi başarısını bir miktar düşürdü. Bu beklenen bir sonuçtur: eğitim, modeli dar bir Türkçe sağlık soru-cevap dağılımına ve belirli bir cevap üslubuna (önce <think> muhakemesi, sonra rehber üslubunda cevap) kaydırdı. MMLU ise geniş, çok alanlı bir genel yetenek testidir ve eğitim bu yeteneği hedeflemedi.

Bölüm bazında en çok değişen konular

En çok gerileyen:

En çok ilerleyen:

Sağlık Danışmanı Benchmark (Özel)

Genel MMLU'nun aksine, bu bölüm modelin fine-tune edildiği senaryoya özel bir test: seali/turkce-saglik-benchmark — eğitim setinde hiç kullanılmamış 112 soruluk çoktan seçmeli (A-D) bir Türkçe sağlık bilgisi seti (12'si elle yazılmış). 5 farklı modelle karşılaştırıldı:

LoRA adaptörü ile temel model arasındaki fark: — 0.0 puan — MMLU'daki genel bilgi kaybının aksine, hedef alanda (Türkçe sağlık bilgisi) fine-tune performansı düşürmedi; konu bazında farklı yönlere kaydırdı (aşağıya bakınız).

Konu bazında temel model — LoRA farkı

Sınırlamalar

Bu adaptör bir eğitim çalışmasıdır ve üretim ortamı için uygun değildir. Bilinen kusurları:

• —Tıbbi olarak yanlış bilgi üretebilir. Test sırasında model, eğitim verisinde bulunmayan konularda kendinden emin ama hatalı cevaplar verdi (örneğin grip aşısı takvimi hakkında uydurma bilgi).
• —Alan dışı soruları reddetmez. Sağlıkla ilgisi olmayan bir soru sorulduğunda konuyu sağlık alanına bağlayıp cevap üretmeye çalışır. Eğitim verisinde reddetme örneği bulunmuyor.
• —Acil durumları öncelemez. Acil müdahale gerektiren bir tarif karşısında kısa ve yönlendirici değil, uzun ve bilgilendirici cevap verir.
• —Eğitim verisindeki sorular şablonla üretildiği için doğal konuşma diline uzaktır; model de benzer üslupta cevap verme eğilimindedir.

Bu model tıbbi tavsiye vermez ve klinik amaçla kullanılmamalıdır.

Lisans

Temel model Gemma lisansına tabidir; adaptörün kullanımı da bu lisansa bağlıdır. Eğitim verisi T.C. Sağlık Bakanlığı'nın kamuya açık yayınlarından türetilmiştir.

Katkı ve İletişim

seali tarafından hazırlanmıştır.