CoolFace
Modelpublic

rdrgzlng/salamandra-7b-instruct-GGUF

sourceHugging Faceapache-2.0updated 5mo agoView on Hugging Face
0likes23downloads
Model Card

Salamandra 7B Instruct GGUF

Conversión propia de BSC-LT/salamandra-7b-instruct a GGUF para uso con llama.cpp.

Archivos

  • —salamandra-7b-instruct-fp16.gguf
  • —salamandra-7b-instruct-Q4_K_M.gguf

Notas

El archivo Q4_K_M fue cuantizado con llama.cpp.

Uso con llama.cpp

bash
./llama-cli -m salamandra-7b-instruct-Q4_K_M.gguf -cnv