Taklaxbr/veripazari.com.tr-t-rk-e-forum-ve-nternet-k-lt-r-veri-seti

Bu veri seti orijinal olarak veripazari.com.tr tarafından geliştirilmiş/yüklenmiş olup, veripazari.com.tr tarafından Türk AI ekosistemi için arşivlenmiştir. 🔗 Orijinal Kaynak ve Detaylar: veripazari.com.tr

Türkçe Forum ve İnternet Kültürü Veri Seti

Bu veri seti, Türkiye'nin en aktif ve popüler platformlarından toplanmış, organik kullanıcı içeriklerini barındıran devasa bir Türkçe metin derlemesidir.

Amacı, Türkçe yapay zeka modellerine resmi ve kitabi dilin ötesinde; günlük konuşma dilini, Türk internet kültürünü, sokak ağzını, deyimleri ve gerçek insan diyaloglarını öğretmektir.

Veri Seti İstatistikleri

Veri setinin temel metrikleri aşağıdaki gibidir:

• —Toplam Veri (Satır): 558.482
• —Toplam Kelime Sayısı: 171.227.986
• —Benzersiz (Unique) Kelime Sayısı: 1.831.688
• —Kopya / Tekrar Oranı: ~%0.5 (Neredeyse sıfır kopya ile maksimum çeşitlilik)
• —Toplam Dosya Boyutu: 1362.2 MB (Üç parça halinde sunulmaktadır)

Veri Seti Özellikleri

• —Yüksek Kalite ve Temizlik: Ham veri üzerinde detaylı bir NLP temizlik işlemi yapılmış; spam içerikler, menü/footer yazıları ve tekrar eden veriler tamamen ayıklanmıştır.
• —Kapsamlı İçerik: Soru-cevap diyaloglarından sözlük entry'lerine, müşteri şikayetlerinden teknoloji/borsa analizlerine kadar toplumun her kesiminden metin barındırır.
• —Kullanım Alanları: Büyük Dil Modellerinin ön eğitimi, duygu analizi modelleri, metin sınıflandırma ve sosyolojik NLP araştırmaları için doğrudan kullanıma hazırdır.

Kaynak Platformlar ve Dağılım

Veriler, toplumun farklı kesimlerini ve ilgi alanlarını yansıtması amacıyla aşağıdaki platformlardan homojen bir şekilde derlenmiştir:

Not: Ekşi Şeyler ve diğer ufak alt domainlerden gelen yüksek kaliteli özel içerikler de veri setine entegre edilmiştir.

Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı kuralımız gereği lisans ve model isimleri korunmuştur.