CoolFace
Modelpublic

bandtor/gemma-4-12B-it-GGUF

sourceHugging Facegemmaupdated 4mo agoView on Hugging Face
0likes66downloads
Model Card

Gemma 4 12B Instruct — GGUF Q4KM

Quantização Q4_K_M com imatrix do modelo google/gemma-4-12B-it, obtida de bartowski/gemma-4-12B-it-GGUF (llama.cpp b9496).

ArquivoTamanhoTipo
gemma-4-12B-it-Q4_K_M.gguf7.66 GBModelo principal
mmproj-gemma-4-12B-it-f16.gguf~122 MBProjetor visual (multimodal)
gemma-4-12B-it-imatrix.gguf—Calibração imatrix
Modelfile—Template Ollama pronto para uso

Especificações

  • —Parâmetros: 12B (denso, arquitetura gemma4)
  • —Contexto máximo: 128K tokens (131 072)
  • —Quantização: Q4KM com imatrix calibration dataset
  • —Ferramenta de build: llama.cpp b9496
  • —Licença: Gemma Terms of Use

Uso com Ollama

bash
# Baixar e criar modelo
huggingface-cli download bandtor/gemma-4-12B-it-GGUF --local-dir ./gemma4-12b
ollama create gemma4-12b -f ./gemma4-12b/Modelfile
ollama run gemma4-12b

Ou diretamente via HF (Ollama >= 0.3):

bash
ollama run hf.co/bandtor/gemma-4-12B-it-GGUF

Uso com llama.cpp

bash
# Apenas texto
llama-cli -m gemma-4-12B-it-Q4_K_M.gguf \
  --ctx-size 32768 \
  -fa 1 \
  --prompt "<|turn>user\nOlá!<turn|>\n<|turn>model\n"

# Multimodal (visão)
llama-cli -m gemma-4-12B-it-Q4_K_M.gguf \
  --mmproj mmproj-gemma-4-12B-it-f16.gguf \
  --image imagem.jpg \
  --prompt "<|turn>user\nDescreva esta imagem.<turn|>\n<|turn>model\n"

Formato de prompt (Gemma 4)

<bos><|turn>system
{system_prompt}<turn|>
<|turn>user
{mensagem}<turn|>
<|turn>model
{resposta}<turn|>

Créditos