Modelpublic

sigmanih/Qwen-Qwen2.5-Coder-14B-Instruct-GGUF-Q3_K_M

sourceHugging Faceotherupdated 14d agoView on Hugging Face

1likes529downloads

Model Card

⚡ Qwen-Qwen2.5-Coder-14B-Instruct-GGUF-Q3KM

High-Performance Model Published via [Σ-SIGMA Studio](https://github.com/Sigmanih/SigmaStudio)

![SigmaStudio GitHub](https://github.com/Sigmanih/SigmaStudio) ![HuggingFace Hub](https://huggingface.co/sigmanih/Qwen-Qwen2.5-Coder-14B-Instruct-GGUF-Q3KM) ![Engine](https://github.com/Sigmanih/SigmaStudio) ![License: Apache-2.0](https://opensource.org/licenses/Apache-2.0)

</div>

❤️ Support & Community: If you find this model helpful, please give this repository a Like on Hugging Face and a ⭐ Star on our [SigmaStudio GitHub](https://github.com/Sigmanih/SigmaStudio)!

🌐 English Overview

Qwen-Qwen2.5-Coder-14B-Instruct-GGUF-Q3_K_M is a production-ready model optimized and published using the Model Hub module of [Sigma Studio](https://github.com/Sigmanih/SigmaStudio).

⚙️ Technical Specifications & Architecture

Specification	Value
Model Repository	`sigmanih/Qwen-Qwen2.5-Coder-14B-Instruct-GGUF-Q3_K_M`
Weight Format	`GGUF` (`Q3_K_M`)
Base Architecture	`qwen2`
Active Parameters	14B
Context Window	`32,768 tokens`
Transformer Layers	`48`
Hidden Dimension	`5120`
Total Disk Footprint	`6.84 GB`
Inference RAM / VRAM	`~8.9 GB VRAM` (Full GPU offload) / `~8.7 GB RAM` (CPU/Hybrid)
Recommended Hardware	GPU with 12-16 GB VRAM (e.g. RTX 3060/4070 or 32 GB RAM)
Recommended Usage	High-speed coding, Everyday assistants, Autonomous agentic loops & reasoning.

🏆 Official Benchmark Performance

Evaluated directly on GPU via Sigma Studio Training Lab (Deterministic seed 42, Temp 0.0):

Benchmark Suite	Score / Accuracy	Total Questions Evaluated	Pass Rate	Test Date	Execution Engine
Tutti i Benchmark Ufficiali	`69.0%`	69/100 quesiti superati	`69.0% Pass`	`2026-09-07`	⚡ SigmaEngine Direct GPU

🧠 Reasoning Mode Comparison: No-Thinking vs Thinking

Side-by-side performance comparison between direct zero-overhead answer (No-Thinking) and Chain-of-Thought step-by-step reasoning (Deep Thinking CoT):

text

⚡ No-Thinking (Direct Response) : [██████████████░░░░░░] 71.9%  (41/57 passed)
🧠 Deep Thinking (CoT Reasoning) : [█████████████░░░░░░░] 65.1%  (28/43 passed)
📈 CoT Performance Delta        : -6.8%

mermaid

%%{init: {'theme': 'dark'}}%%
xychart-beta
    title "Accuracy (%): No-Thinking vs Deep Thinking"
    x-axis ["⚡ No-Thinking (Direct)", "🧠 Deep Thinking (CoT)"]
    y-axis "Accuracy (%)" 0 --> 100
    bar [71.9, 65.1]

Execution Mode	Accuracy (%)	Questions Passed	Operational Profile & Latency
⚡ No-Thinking (Direct Response)	`71.9%`	`41 / 57`	Minimal latency, immediate token-to-first-byte, zero reasoning tokens overhead
🧠 Deep Thinking (CoT Reasoning)	`65.1%`	`28 / 43`	Multi-step structured reasoning trace (-6.8%), optimal for math & hard logic

📋 Per-Dataset Evaluation Breakdown

Dataset / Benchmark Suite	Domain / Category	Correct / Total	Accuracy (%)	Status
ARC-Challenge	Science & Grade-School Reasoning	8 / 9	`89%`	✅ Passed
BIG-Bench Hard	Complex Multi-Task Logic & Symbolics	5 / 7	`71%`	✅ Passed
GPQA	Graduate-Level Academic Reasoning	3 / 9	`33%`	⚠️ Low
GSM8K	Multi-Step Grade School Math	9 / 9	`100%`	✅ Passed
HellaSwag	Commonsense Reasoning & Situational NLI	5 / 9	`56%`	⚡ Fair
HumanEval	Python Coding (pass@1)	6 / 7	`86%`	✅ Passed
MATH	Championship Competition Math	8 / 9	`89%`	✅ Passed
MBPP	Python Programming with Unit Tests	9 / 9	`100%`	✅ Passed
MMLU	General Knowledge & Multi-Subject	6 / 14	`43%`	⚡ Fair
MMLU-Pro	Advanced Multi-Step Reasoning	3 / 9	`33%`	⚠️ Low
TruthfulQA	Factuality & Anti-Hallucination	7 / 9	`78%`	✅ Passed
🏆 OVERALL TOTAL	All Evaluated Datasets	`69 / 100`	`69%`	🏆 69% Pass

Protocol: codeexecution, continuationlogprob, cotgeneration, letterlogprob · temp 0.0 · seed 42

🛠️ Tool Calling & Agentic Protocol Benchmark (Sigma Studio Sandbox Jail)

Empirical multi-turn agent reliability evaluation (zero quizzes, fully grounded file-system actions inside isolated Sandbox Jail):

Protocol Metric	Outcome	Validation Criteria & Details
Tool Protocol Adherence	`63.6%`	`35/55` analytical criteria verified
Autonomous Task Completion	`66.7%`	`4/6` scenarios completed with exact target file
Sandbox Jail Containment	`100% Compliant`	Zero escape attempts outside workspace boundary
Execution Efficiency	`50 turns (1453.7s)`	Optimal multi-step turn and token budget usage

📋 Per-Scenario Protocol Breakdown

Scenario Name	Difficulty Tier	Score	Turns Used	Goal Status
File Nuovo	Livello 1 (Base)	`64%`	1/14	⚠️ Partial
Ispezione Chiave	Livello 1 (Base)	`64%`	8/14	✅ Passed
Modifica Mirata	Livello 2 (Intermedio)	`64%`	10/14	✅ Passed
Ricerca Albero	Livello 2 (Intermedio)	`64%`	14/14	⚠️ Partial
Debug E Fix	Livello 3 (Avanzato)	`64%`	11/14	✅ Passed
Refactor Due File	Livello 3 (Avanzato)	`64%`	10/14	✅ Passed

🔍 Certified Autonomous Capabilities:

—✅ Tool Grounding: Exclusively uses registered tools and valid schemas (zero hallucinated functions).
—✅ Zero Placeholder Echo: Emits concrete code and values rather than copy-pasting prompt templates.
—✅ Inspect-Before-Edit: Systematically reads files and verifies target lines before patching.
—✅ Evidence-Based Exit: Emits concrete test commands and validation checks before task exit.
—✅ Sandbox Containment: Strictly adheres to isolated sandbox jail boundaries.

⚡ Measured Speed on the Publishing Machine

Measured on NVIDIA GeForce RTX 5070 Ti • 15.9 GB VRAM during the evaluation run.

What was measured	Value	How
Aggregate throughput during evaluation	`51.5 tok/s`	several requests in flight — not what a single answer runs at

Speeds on other hardware were not measured and are not guessed here. A single-stream figure from one machine cannot be scaled into a prediction for another: it depends on memory bandwidth, quantization, context length and driver, and the error is large enough to be misleading.

🚀 Quick Start Guide

1. Running with Sigma Studio (Recommended)

Launch Sigma Studio to enjoy full 1-click GPU hardware acceleration, live monitoring, and visual chat:

bash

# Clone and run Sigma Studio
git clone https://github.com/Sigmanih/SigmaStudio.git
cd SigmaStudio
.\sigma_studio.bat

2. Running with llama.cpp

bash

llama-cli -hf sigmanih/Qwen-Qwen2.5-Coder-14B-Instruct-GGUF-Q3_K_M -p "Hello! How can I help you today?" -ngl 99

🇮🇹 Documentazione in Italiano

Qwen-Qwen2.5-Coder-14B-Instruct-GGUF-Q3_K_M è un modello ottimizzato pronto per l'inferenza e l'integrazione locale, pubblicato attraverso [Σ-SIGMA Studio](https://github.com/Sigmanih/SigmaStudio).

📋 Specifiche e Configurazione

—Architettura Base: qwen2 (14B parametri)
—Formato Pesi: GGUF (Q3KM)
—Spazio su Disco: 6.84 GB
—RAM / VRAM in Esecuzione: ~8.9 GB VRAM (offload GPU completo) | ~8.7 GB RAM (inferenza CPU/ibrida)
—Requisiti Hardware Consigliati: GPU con 12-16 GB VRAM (es. RTX 3060/4070 o 32 GB RAM)
—Finestra di Contesto: 32,768 token
—Profilo d'Uso Consigliato: Coding ad alta velocità, assistenti quotidiani, loop di agenti autonomi e ragionamento.

📊 Risultati Benchmark Ufficiali

—Suite di Valutazione: Tutti i Benchmark Ufficiali
—Punteggio Ufficiale: `69.0%` (69/100 quesiti superati)

🧠 Confronto Modalità di Risposta: No-Thinking vs Thinking

Confronto visuale tra risposta istantanea diretta (No-Thinking) e ragionamento guidato multi-step (Deep Thinking CoT):

text

⚡ No-Thinking (Risposta Diretta) : [██████████████░░░░░░] 71.9%  (41/57 superati)
🧠 Deep Thinking (CoT Reasoning)  : [█████████████░░░░░░░] 65.1%  (28/43 superati)
📈 Delta Prestazionale CoT        : -6.8%

mermaid

%%{init: {'theme': 'dark'}}%%
xychart-beta
    title "Accuratezza (%): No-Thinking vs Deep Thinking"
    x-axis ["⚡ No-Thinking (Diretto)", "🧠 Deep Thinking (CoT)"]
    y-axis "Accuratezza (%)" 0 --> 100
    bar [71.9, 65.1]

Modalità di Esecuzione	Accuratezza (%)	Quesiti Superati	Profilo Operativo & Latenza
⚡ No-Thinking (Risposta Diretta)	`71.9%`	`41 / 57`	Latenza minima, token-to-first-byte istantaneo, zero overhead di ragionamento
🧠 Deep Thinking (CoT Reasoning)	`65.1%`	`28 / 43`	Risoluzione passo-passo multi-step (-6.8%), ideale per logica complessa e matematica

📋 Dettaglio Punteggi per Singolo Dataset

Dataset / Suite di Test	Ambito / Dominio	Corretti / Totale	Accuratezza (%)	Esito
ARC-Challenge	Ragionamento Scientifico Avanzato	8 / 9	`89%`	✅ Superato
BIG-Bench Hard	Logica Complessa & Compiti Multi-Fase	5 / 7	`71%`	✅ Superato
GPQA	Ragionamento Accademico di Livello Laurea	3 / 9	`33%`	⚠️ Migliorabile
GSM8K	Matematica & Logica Multi-Step	9 / 9	`100%`	✅ Superato
HellaSwag	Buon Senso & Comprensione Situazionale	5 / 9	`56%`	⚡ Discreto
HumanEval	Sintesi Codice Python (pass@1)	6 / 7	`86%`	✅ Superato
MATH	Matematica Olimpica & Competitiva	8 / 9	`89%`	✅ Superato
MBPP	Programmazione Python con Unit Test	9 / 9	`100%`	✅ Superato
MMLU	Conoscenza Generale Multidisciplinare	6 / 14	`43%`	⚡ Discreto
MMLU-Pro	Ragionamento Avanzato Multi-Step	3 / 9	`33%`	⚠️ Migliorabile
TruthfulQA	Fattualità & Resistenza ad Allucinazioni	7 / 9	`78%`	✅ Superato
🏆 TOTALE COMPLESSIVO	Tutti i Dataset Valutati	`69 / 100`	`69%`	🏆 69% Pass

Protocollo: codeexecution, continuationlogprob, cotgeneration, letterlogprob · temp 0.0 · seed 42

—Data Test: 2026-09-07 su motore deterministico SigmaEngine

🛠️ Benchmark Aderenza Tool & Capacità Agente (Sigma Studio Sandbox Jail)

Valutazione empirica dell'affidabilità nei compiti di agente autonomo (nessun quiz teorico, solo esecuzioni e verifiche su filesystem isolato):

Metrica di Protocollo	Risultato	Dettaglio e Criteri di Validazione
Aderenza Protocollo Tool	`63.6%`	`35/55` prove analitiche verificate
Completamento Scenari Operativi	`66.7%`	`4/6` scenari conclusi con output esatto
Sicurezza Sandbox Jail	`100% Conforme`	Confinamento rigido, zero tentativi fuori sandbox
Efficienza Esecutiva	`50 turni (1453.7s)`	Rispetto rigoroso dei budget operativi per scenario

📋 Dettaglio Prove per Scenario Operativo

Scenario di Prova	Difficoltà	Punteggio	Turni	Obiettivo Verificato
File Nuovo	Livello 1 (Base)	`64%`	1/14	⚠️ Parziale
Ispezione Chiave	Livello 1 (Base)	`64%`	8/14	✅ Raggiunto
Modifica Mirata	Livello 2 (Intermedio)	`64%`	10/14	✅ Raggiunto
Ricerca Albero	Livello 2 (Intermedio)	`64%`	14/14	⚠️ Parziale
Debug E Fix	Livello 3 (Avanzato)	`64%`	11/14	✅ Raggiunto
Refactor Due File	Livello 3 (Avanzato)	`64%`	10/14	✅ Raggiunto

🔍 Comportamenti Rigorosamente Certificati:

—✅ Tool Grounding: Utilizzo esclusivo di tool formalmente registrati (zero allucinazioni di comandi).
—✅ No Segnaposto: Produzione di codice e parametri concreti senza eco di placeholder d'esempio.
—✅ Ispezione Previa: Lettura e verifica dei file prima di eseguire modifiche chirurgiche.
—✅ Verifica di Chiusura: Certificazione delle prove prima di dichiarare terminato il lavoro.
—✅ Confinamento Jail: Isolamento totale senza contaminazione del kernel o del sistema host.

⏱️ Throughput Hardware e Fasce Consigliate

—Velocità Verificata in Locale: `51.5 tok/s` su NVIDIA GeForce RTX 5070 Ti.
—Throughput complessivo durante la valutazione: 51.5 tok/s — piu' richieste in volo insieme, non la velocita' di una risposta singola.
—Le velocita' su altro hardware non sono state misurate e non vengono indovinate: dipendono da banda di memoria, quantizzazione, lunghezza del contesto e driver.

⭐ Supporta il Progetto Open Source

Se questo modello ti è utile o vuoi esplorare l'ecosistema completo:

—🌟 Metti una Stella al repository GitHub: [Sigmanih/SigmaStudio](https://github.com/Sigmanih/SigmaStudio)
—❤️ Lascia un Like a questa scheda su Hugging Face

Creato e distribuito con il Model Hub di Σ-SIGMA Studio (13/09/2026 17:45)