CoolFace
Modelpublic

ahmetggg/Luck-Qwen2.5-Coder-3B-STEM-v0.2-GGUF

sourceHugging Faceapache-2.0updated 2mo agoView on Hugging Face
0likes12downloads
Model Card

🚀 Luck-Qwen2.5-Coder-3B-STEM-v0.2 (GGUF)

Luck-Qwen2.5-Coder-3B-STEM-v0.2, Qwen/Qwen2.5-Coder-3B-Instruct temel modeli üzerine STEM (Science, Technology, Engineering, Mathematics) alanlarında kodlama yeteneklerini ve mantıksal problem çözme kapasitesini artırmak amacıyla Unsloth altyapısı kullanılarak eğitilmiş özel bir dil modelidir.

Bu repository, modelin yerel sistemlerde (Ollama, llama.cpp, LM Studio vb.) ve düşük sistem kaynağı tüketen cihazlarda yüksek performansla çalışabilmesi için Q4_K_M formatında kuantize edilmiş GGUF sürümünü içerir.

📌 Model Özellikleri

  • —Geliştirici / Eğitmen: Dr. Zeon.
  • —Temel Model: Qwen/Qwen2.5-Coder-3B-Instruct
  • —Format: GGUF (Q4_K_M)
  • —Dosya Boyutu: ~1.93 GB
  • —Bağlam Uzunluğu (Context Length): 32k (Önerilen çalışma: 4096 - 8192 tokens)
  • —Format Yapısı: ChatML Formatı

📊 Eğitim Analizi ve Metrikler

Eğitim süreci 1500 step boyunca Kaggle GPU ortamında Unsloth (LoRA/PEFT) kullanılarak yürütülmüştür. Model ilk 50 adım içerisinde ana örüntüleri öğrenerek hızlı bir yakınsama (convergence) sergilemiştir.

Eğitim MetriğiDeğerAdım (Step)
Başlangıç Kaybı (Initial Loss)1.6371Step 10
En Düşük Kayıp (Min Loss)0.4761Step 870
Son Eğitim Kaybı (Final Loss)0.6081Step 1500
Plato Evresi Ortalaması (Step 50–1500)0.6221Step 50+
Kayıp Standart Sapması0.1377-

📈 Eğitim Kayıp (Training Loss) Grafiği

[image]

💡 Teknik Gözlemler

  1. 1.Hızlı Yakınsama: Step 10'da 1.6371 olan kayıp değeri, Step 50 itibarıyla 0.6563 seviyesine düşmüş ve model temel yapıyı hızla kavramıştır.
  2. 2.Kararlı Plato: Step 50'den Step 1500'e kadar eğitim kaybı ortalama 0.6221 bandında oldukça kararlı bir seyir izlemiştir.
  3. 3.Minimum Noktası: Model en yüksek başarım kayıp değerine Step 870'te (0.4761) ulaşmıştır.

🛠️ Kullanım Rehberi (Usage)

1. Ollama ile Çalıştırma

Modeli doğrudan Hugging Face üzerindeki GGUF dosyasını çekerek tek komutla çalıştırabilirsiniz:

bash
ollama run hf.co/ahmetggg/Luck-Qwen2.5-Coder-3B-STEM-v0.2-GGUF