Egertekin/marvel-domain-dataset

Marvel Evreni Soru-Cevap Veri Seti

Veri Seti Özeti

Bu veri seti, büyük dil modellerinin Marvel evreni, karakterlerinin kökenleri ve çizgi roman tarihi hakkında eğitilmesi (Fine-Tuning / LoRA) amacıyla oluşturulmuştur. Veri seti tamamen Türkçe olup instruction, input ve output formatına uygun olarak yapılandırılmıştır.

Oluşturulma Amacı

Akademik bir bilgisayar mühendisliği projesi kapsamında; web scraping yeteneklerini sergilemek, veri çoğaltma yöntemlerini uygulamak ve bir dil modelini spesifik bir alanda uzmanlaştırmak amacıyla geliştirilmiştir.

Veri Toplama Yöntemi

Veri seti iki farklı yöntem harmanlanarak oluşturulmuştur:

1. 1.Organik Veri: Python kullanılarak Wikipedi üzerinden Marvel Comics, Spider-Man, Iron Man, Captain America, Avengers, X-Men, Wolverine ve Thor sayfalarından anlamlı paragraflar kazınmış, kaynakça numaralarından arındırılarak temizlenmiştir.
2. 2.Elle Girilen Veri ve Çoğaltma: Marvel evrenine dair temel sorular uzman bilgisiyle elle hazırlanmış, ardından bu soruların farklı doğal dil varyasyonları üretilerek veri setinin hacmi zenginleştirilmiştir.

Veri Seti Yapısı

Her bir veri noktası aşağıdaki 3 ana sütundan oluşur:

• —`instruction`: Modele yöneltilen soru veya verilen görev (Örn: "Wolverine'in iskeleti hangi metalden yapılmıştır?").
• —`input`: Soruya ek olarak sağlanması gereken ekstra bağlam (Doğrudan soru-cevap mantığı işlendiği için bu veri setinde boş bırakılmıştır).
• —`output`: Modelin vermesi beklenen doğru ve detaylı yanıt.

Geliştirici

Ege Ertekin