CoolFace
Modelpublic

matrixportalx/gemma-3-4b-it-GGUF

sourceHugging Facegemmaupdated 1y agoView on Hugging Face
0likes563downloads
Model Card

Quantized with llama.cpp using all-gguf-same-where


🌍 Türkçe Dil Destekli Modeller - Performans Analizi

📌 Test Edilen Modeller

Aşağıdaki yerel modeller, Türkçe metin üretimi ve anlama yetenekleri açısından kapsamlı şekilde test edilmiştir:

  1. 1.CohereForAI/c4ai-command-r7b-arabic-02-2025
  2. 2.CohereForAI/c4ai-command-r7b-12-2024
  3. 3.CohereForAI/aya-expanse-8b
  4. 4.ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1
  5. 5.google/gemma-3-4b-it
  6. 6.google/gemma-3-4b-pt-qat-q4_0-gguf

🔍 Test Kriterleri

Modeller şu 3 temel soruyla değerlendirilmiştir:

markdown
1. "Türkiye'deki en önemli 3 tarihi eseri ve kültürel önemini açıklar mısın?"
2. "İstanbul'un Asya-Avrupa yakası farklarını İngilizce/Türkçe karşılaştır"
3. "Antalya'da 3 günlük turist planı hazırla"

📊 Öne Çıkan Sonuçlar

ModelKültürel DoğrulukDil AkıcılığıÇok DillilikEn Güçlü Yönü
Turkish-Llama-8B⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Metaforik anlatım ve yerel bağlam
Aya-Expanse-8B⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐20+ dil desteği
Command R7B Arabic⭐⭐⭐⭐⭐⭐⭐⭐⭐Arapça-Türkçe çeviri

🔗 Tam Test Sonuçları

Tüm model yanıtlarını detaylı incelemek için: 📂 Türkçe Destekli Model Karşılaştırmaları

💡 Kullanıcı Rehberi

markdown
- 🔥 **Türkçe Öncelikli Projeler** → `Turkish-Llama-8B` (En yüksek kültürel uyum)
- 🌐 **Çok Dilli Uygulamalar** → `Aya-Expanse-8B`  
- 📜 **Resmi Dokümanlar** → `Command R7B` serisi
- 📱 **Düşük Kaynak** → `Gemma-3-4B` (Android uyumlu)

⚠️ Önemli Notlar

  • —Tüm modeller GGUF kuantize formatında test edilmiştir
  • —Coğrafi isimlerde %5-10 hata payı olabilir
  • —Yerel kullanım için Ollama/LM Studio önerilir

🌟 Kişisel Deneyim

"Yerel modellerle yaptığım testlerde özellikle Turkish-Llama-8B'nin Türkçe'yi doğal kullanımı ve kültürel bağlam hakimiyeti beni etkiledi. Siz de kendi projelerinizde bu modelleri deneyerek sonuçları AnkaNLP sayfamızda paylaşabilirsiniz!"


✅ Quantized Models Download List

🔍 Recommended Quantizations

  • —✨ General CPU Use: `Q4_K_M` (Best balance of speed/quality)
  • —📱 ARM Devices: `Q4_0` (Optimized for ARM CPUs)
  • —🏆 Maximum Quality: `Q8_0` (Near-original quality)

📦 Full Quantization Options

🚀 Download🔢 Type📝 Notes
DownloadQ2_KBasic quantization
DownloadQ3_K_SSmall size
DownloadQ3_K_MBalanced quality
DownloadQ3_K_LBetter quality
DownloadQ4_0Fast on ARM
DownloadQ4_K_SFast, recommended
DownloadQ4_K_M ⭐Best balance
DownloadQ5_0Good quality
DownloadQ5_K_SBalanced
DownloadQ5_K_MHigh quality
DownloadQ6_K 🏆Very good quality
DownloadQ8_0 ⚡Fast, best quality
DownloadF16Maximum accuracy

💡 Tip: Use F16 for maximum precision when quality is critical


🚀 Applications and Tools for Locally Quantized LLMs

🖥️ Desktop Applications

ApplicationDescriptionDownload Link
Llama.cppA fast and efficient inference engine for GGUF models.GitHub Repository
OllamaA streamlined solution for running LLMs locally.Website
AnythingLLMAn AI-powered knowledge management tool.GitHub Repository
Open WebUIA user-friendly web interface for running local LLMs.GitHub Repository
GPT4AllA user-friendly desktop application supporting various LLMs, compatible with GGUF models.GitHub Repository
LM StudioA desktop application designed to run and manage local LLMs, supporting GGUF format.Website
GPT4All ChatA chat application compatible with GGUF models for local, offline interactions.GitHub Repository

📱 Mobile Applications

ApplicationDescriptionDownload Link
ChatterUIA simple and lightweight LLM app for mobile devices.GitHub Repository
MaidMobile Artificial Intelligence Distribution for running AI models on mobile devices.GitHub Repository
PocketPal AIA mobile AI assistant powered by local models.GitHub Repository
LaylaA flexible platform for running various AI models on mobile devices.Website

🎨 Image Generation Applications

ApplicationDescriptionDownload Link
Stable DiffusionAn open-source AI model for generating images from text.GitHub Repository
Stable Diffusion WebUIA web application providing access to Stable Diffusion models via a browser interface.GitHub Repository
Local DreamAndroid Stable Diffusion with Snapdragon NPU acceleration. Also supports CPU inference.GitHub Repository
Stable-Diffusion-Android (SDAI)An open-source AI art application for Android devices, enabling digital art creation.GitHub Repository