Datasetpublic

haticenurcakr/turk-klasik-kitaplari-benchmark

Türk Klasik Kitapları Özel Benchmark Bu veri seti, Türk klasik romanları alanında dil modellerini değerlendirmek amacıyla hazırlanmış 125 soruluk çoktan seçmeli bir benchmark çalışmasıdır. Veri Setinin Yapısı Toplam soru: 125 Elle hazırlanmış soru: 25 Yazar-eser sorusu: 100 Seçenek sayısı: 4 Dil: Türkçe Kullanım amacı: Fine-tune modelini farklı modellerle karşılaştırmak Kategoriler Yazar bilgisi Eser bilgisi Karakter bilgisi Roman içeriği Türk… See the full description on the dataset page: https://huggingface.co/datasets/haticenurcakr/turk-klasik-kitaplari-benchmark.

sourceHugging Facemitupdated 2mo agoView on Hugging Face

0likes15downloads

Dataset Card

Türk Klasik Kitapları Özel Benchmark

Bu veri seti, Türk klasik romanları alanında dil modellerini değerlendirmek amacıyla hazırlanmış 125 soruluk çoktan seçmeli bir benchmark çalışmasıdır.

Veri Setinin Yapısı

—Toplam soru: 125
—Elle hazırlanmış soru: 25
—Yazar-eser sorusu: 100
—Seçenek sayısı: 4
—Dil: Türkçe
—Kullanım amacı: Fine-tune modelini farklı modellerle karşılaştırmak

Kategoriler

—Yazar bilgisi
—Eser bilgisi
—Karakter bilgisi
—Roman içeriği
—Türk edebiyatı tarihi

Sütunlar

—id: Sorunun benzersiz kimliği
—kategori: Sorunun kategorisi
—soru: Çoktan seçmeli soru
—secenekler: Dört cevap seçeneği
—cevap: Doğru seçeneğin sıfır tabanlı indeksi
—dogru_harf: Doğru seçeneğin harfi
—dogru_cevap: Doğru cevabın metni
—insan_yazimi: Sorunun elle hazırlanıp hazırlanmadığı

Metodoloji Notu

Fine-tune modeli daha önce hazırlandığı için bu çalışma eğitimden önce ayrılmış klasik bir holdout split değildir. Eğitim sorularıyla birebir aynı olmayacak şekilde hazırlanmış yeni bir özel alan değerlendirme setidir.

Model daha sonra yeniden eğitilirse bu benchmark eğitim verisinin dışında tutulmalıdır.

Bağlantılar

—Eğitim veri seti: https://huggingface.co/datasets/haticenurcakr/turkish-classic-books-qa
—Fine-tune LoRA modeli: https://huggingface.co/haticenurcakr/turkish-classic-books-qwen-lora