Modelpublic

yusufbaykaloglu/qwen3.5-4b-turkish-sft-gguf

sourceHugging Faceapache-2.0updated 7mo agoView on Hugging Face

2likes675downloads

Model Card

<h1 align="center">Qwen3.5-4B Turkish SFT — GGUF</h1>

<p align="center"> <b>Qwen3.5-4B Turkish SFT</b> modelinin GGUF formatında quantize edilmiş versiyonlarıdır.<br/> CPU ve hafif GPU ortamlarında çalıştırılabilir. </p>

Mevcut Dosyalar

Dosya	Quantization	Boyut	Kullanım
`Qwen3.5-4B.Q4_K_M.gguf`	Q4KM	2.6 GB	CPU / hafif GPU — hız-kalite dengesi
`Qwen3.5-4B.Q5_K_M.gguf`	Q5KM	2.9 GB	CPU / GPU — iyi kalite-boyut dengesi
`Qwen3.5-4B.Q6_K.gguf`	Q6_K	3.2 GB	CPU / GPU — Q8_0'a yakın yüksek kalite
`Qwen3.5-4B.Q8_0.gguf`	Q8_0	4.2 GB	CPU / GPU — yüksek kalite
`Qwen3.5-4B.BF16-mmproj.gguf`	BF16	676 MB	Vision projector (multimodal kullanım)

Önerilen: Genel kullanım için Q4_K_M, dengeli kalite için Q5_K_M, yüksek kalite için Q6_K veya Q8_0 tercih edin.

Kullanım

1. llama-cpp-python (Python)

bash

pip install llama-cpp-python

python

from llama_cpp import Llama

llm = Llama(
    model_path="Qwen3.5-4B.Q4_K_M.gguf",
    n_ctx=4096,
    n_threads=8,
)

output = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "Python'da bir listeyi nasıl sıralarım?"}
    ],
    max_tokens=512,
    temperature=0.6,
    top_p=0.95,
    top_k=20,
)

print(output["choices"][0]["message"]["content"])

2. llama.cpp CLI

bash

# Model indirme
huggingface-cli download yusufbaykaloglu/qwen3.5-4b-turkish-sft-gguf \
    Qwen3.5-4B.Q4_K_M.gguf --local-dir ./models

# Çalıştırma
./llama-cli -m ./models/Qwen3.5-4B.Q4_K_M.gguf \
    -p "Türkiye'nin en büyük şehri hangisidir?" \
    -n 512 --temp 0.6 --top-p 0.95 --top-k 20

3. LM Studio

1.LM Studio'yu açın
2.Arama çubuğuna yusufbaykaloglu/qwen3.5-4b-turkish-sft-gguf yazın
3.İstediğiniz quantization'ı seçip indirin
4.Chat sekmesinden Türkçe sohbete başlayın

GPU Versiyonu

Tam hassasiyetli (bf16) GPU versiyonu için: 👉 yusufbaykaloglu/qwen3.5-4b-turkish-sft

Quantization Yöntemleri

Yöntem	Bit	Açıklama
Q4KM	~4.5 bpw	En küçük boyut, hızlı inference. Düşük VRAM/RAM sistemler için ideal.
Q5KM	~5.5 bpw	İyi kalite-boyut dengesi. Çoğu kullanım için önerilen orta yol.
Q6_K	~6.5 bpw	Yüksek kalite. Q8_0'a yakın performans, daha az alan.
Q8_0	8 bpw	En yüksek kalite. Orijinal modele en yakın sonuçlar.

bpw = bits per weight (ağırlık başına bit)

Model Detayları

Özellik	Değer
Temel Model	Qwen/Qwen3.5-4B
Mimari	Qwen3_5ForConditionalGeneration (VLM)
Eğitim Yöntemi	LoRA SFT (r=16, alpha=16, bf16)
Eğitim Verisi	yusufbaykaloglu/helpsteer3-tr (edit subset, 13,740 örnek)
Framework	Unsloth + TRL
Quantization	llama.cpp (Unsloth üzerinden)

bibtex

@misc{qwen35-4b-turkish-sft-gguf,
  author = {Yusuf Baykalioğlu},
  title = {Qwen3.5-4B Turkish SFT GGUF},
  year = {2026},
  publisher = {HuggingFace},
  url = {https://huggingface.co/yusufbaykaloglu/qwen3.5-4b-turkish-sft-gguf}
}