Jessylg27/gemma-4-E2B-it-GGUF

gemma-4-E2B-it GGUF

Quantized GGUF versions of google/gemma-4-E2B-it.

Files

• —F16: gemma-4-E2B-it-f16.gguf (unquantized GGUF reference)
• —Q2K: gemma-4-E2B-it-Q2K.gguf
• —Q3KS: gemma-4-E2B-it-Q3KS.gguf
• —Q3KM: gemma-4-E2B-it-Q3KM.gguf
• —Q3KL: gemma-4-E2B-it-Q3KL.gguf
• —Q40: gemma-4-E2B-it-Q40.gguf
• —Q41: gemma-4-E2B-it-Q41.gguf
• —Q4KS: gemma-4-E2B-it-Q4KS.gguf
• —Q4KM: gemma-4-E2B-it-Q4KM.gguf
• —Q50: gemma-4-E2B-it-Q50.gguf
• —Q51: gemma-4-E2B-it-Q51.gguf
• —Q5KS: gemma-4-E2B-it-Q5KS.gguf
• —Q5KM: gemma-4-E2B-it-Q5KM.gguf
• —Q6K: gemma-4-E2B-it-Q6K.gguf
• —Q80: gemma-4-E2B-it-Q80.gguf

Usage with llama.cpp

`bash llama-cli -hf Jessylg27/gemma-4-E2B-it-GGUF -m gemma-4-E2B-it-Q4_K_M.gguf -p "Bonjour, explique-moi ton role." `

Usage with Ollama

Create a Modelfile:

`txt FROM ./gemma-4-E2B-it-Q4_K_M.gguf `

Then:

`bash ollama create gemma-4-e2b-it-gguf -f Modelfile ollama run gemma-4-e2b-it-gguf `

Original model

Base model: google/gemma-4-E2B-it