Modelpublic

rdrgzlng/salamandra-2b-instruct-GGUF

sourceHugging Faceapache-2.0updated 5mo agoView on Hugging Face

0likes42downloads

Model Card

Salamandra 2B Instruct GGUF

Conversión propia de BSC-LT/salamandra-2b-instruct a GGUF para uso con llama.cpp.

Archivos

—salamandra-2b-instruct-fp16.gguf
—salamandra-2b-instruct-Q4_K_M.gguf

Notas

El archivo Q4_K_M fue cuantizado con llama.cpp. Algunos tensores requirieron fallback automático a otros formatos de cuantización por restricciones de forma.

Uso con llama.cpp

bash

./llama-cli -m salamandra-2b-instruct-Q4_K_M.gguf -cnv