a-ivanovitch/Qwen3-4B-Instruct-2507-GGUF

Qwen3-4B-Instruct-2507 GGUF (imatrix)

Versione GGUF ottimizzata di Qwen3-4B-Instruct, quantizzata da Sophia-AI con importance matrix (imatrix) per inferenza efficiente su GPU consumer e dispositivi edge.

Questi sono i modelli ufficiali utilizzati su **Sophia Metal** — la nostra piattaforma di AI edge computing.

🧠 Quantizzazione con imatrix: a differenza delle quantizzazioni standard, queste utilizzano una importance matrix generata su un dataset di calibrazione multilingue e multi-task. Questo preserva i pesi più critici del modello durante la compressione, con miglioramenti significativi soprattutto su Q2K e Q3K_M.

📦 File disponibili

Tutti i quant passano 8/8 test funzionali — tool calling, JSON output, codice, italiano — senza degradazione rispetto a F16.

🧠 Perché imatrix?

La quantizzazione standard tratta tutti i pesi del modello allo stesso modo: li comprime uniformemente. Questo funziona bene per Q8 e Q6, ma a livelli aggressivi (Q3, Q2) i pesi critici per tool calling, JSON strutturato e ragionamento multilingue vengono compressi troppo.

L'importance matrix (imatrix) risolve questo problema:

1. 1.Eseguiamo un forward pass del modello F16 su un dataset di calibrazione rappresentativo
2. 2.Misuriamo quali pesi si attivano maggiormente (= sono più importanti)
3. 3.Durante la quantizzazione, i pesi importanti vengono compressi meno, quelli meno importanti di più

Il risultato: Q2_K con imatrix mantiene capacità che senza imatrix sarebbero perse.

Dataset di calibrazione

Il nostro dataset è stato costruito specificamente per riflettere i casi d'uso reali di Sophia Metal:

La sezione Chat + Tools è quella più critica: include esempi reali di <tool_call>, risposte JSON strutturate, tool definitions nei system prompt, parallel tool calls e conversazioni multi-turn. Senza questi pattern nel dataset di calibrazione, i pesi responsabili della generazione di {"name": "get_weather", "arguments": ...} verrebbero identificati come poco importanti e compressi troppo.

✅ Test di qualità

Tutti i quant sono stati testati con una suite automatizzata che verifica le capacità core per l'uso in produzione:

Test                          F16   Q8_0  Q6_K  Q5_K_M Q4_K_M Q3_K_M Q2_K
─────────────────────────────────────────────────────────────────────────
JSON output semplice          ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool call - singolo           ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool call - multiplo          ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool call - scelta tool       ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool follow-up                ✅    ✅    ✅    ✅     ✅     ✅     ✅
Italiano - coerenza           ✅    ✅    ✅    ✅     ✅     ✅     ✅
Codice Python                 ✅    ✅    ✅    ✅     ✅     ✅     ✅
JSON strutturato complesso    ✅    ✅    ✅    ✅     ✅     ✅     ✅
─────────────────────────────────────────────────────────────────────────
Score                         8/8   8/8   8/8   8/8    8/8    8/8    8/8

I test verificano:

• —Tool calling nativo (singolo, multiplo, selezione del tool corretto)
• —Tool follow-up (interpretazione della risposta JSON del tool)
• —JSON output (semplice e strutturato complesso con nested arrays)
• —Italiano (coerenza linguistica)
• —Codice (generazione Python con logica corretta)

🎯 Quale scegliere?

🖥️ Desktop / Server GPU

🔥 Sophia Metal / Edge Computing (8GB unified memory)

Per dispositivi edge con memoria unificata (come Sophia Metal):

💡 Sophia Metal usa Q3KM come default per garantire spazio a tutto lo stack (LLM + embeddings + vector DB + app). Con imatrix, anche Q2_K è un'opzione valida per scenari a memoria molto limitata.

💻 CPU Only

📥 Download

# ⭐ Consigliato per la maggior parte degli utenti
huggingface-cli download Sophia-AI/Qwen3-4B-Instruct-2507-GGUF \
    Qwen3-4B-Instruct-2507-Q4_K_M.gguf

# 🔥 Per Sophia Metal / Edge devices
huggingface-cli download Sophia-AI/Qwen3-4B-Instruct-2507-GGUF \
    Qwen3-4B-Instruct-2507-Q3_K_M.gguf

# Massima qualità
huggingface-cli download Sophia-AI/Qwen3-4B-Instruct-2507-GGUF \
    Qwen3-4B-Instruct-2507-Q6_K.gguf

🚀 Utilizzo

llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="Sophia-AI/Qwen3-4B-Instruct-2507-GGUF",
    filename="*Q4_K_M.gguf",
    n_ctx=4096,
    n_gpu_layers=-1,  # -1 = tutte le layers su GPU
)

response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "Ciao, come stai?"}
    ]
)
print(response["choices"][0]["message"]["content"])

Tool calling

response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "What's the weather in Rome?"}
    ],
    tools=[{
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get weather for a city",
            "parameters": {
                "type": "object",
                "properties": {
                    "city": {"type": "string"}
                },
                "required": ["city"]
            }
        }
    }]
)

llama.cpp CLI

./llama-cli -m Qwen3-4B-Instruct-2507-Q4_K_M.gguf \
    -p "<|im_start|>user\nCiao!<|im_end|>\n<|im_start|>assistant\n" \
    -n 256 -ngl 99

Ollama

ollama run hf.co/Sophia-AI/Qwen3-4B-Instruct-2507-GGUF:Q4_K_M

📊 Specifiche modello

🔧 Dettagli quantizzazione

🔗 Links

• —Sophia Metal: metal.2sophia.ai
• —Sophia AI: 2sophia.ai
• —Modello base: Qwen/Qwen3-4B-Instruct

📜 Licenza

Apache 2.0 — Stesso del modello base Qwen3.

🙏 Crediti

• —Modello base: Qwen Team
• —Quantizzazione imatrix + test suite: Sophia-AI