Dvin771/mistral-sk-7b-alpaca-slovak-it

mistral-sk-7b-alpaca-slovak-it · GGUF Q4\K\M

This is a quantized version of `mrshu/mistral-sk-7b-alpaca-slovak-it` in GGUF Q4\_K\_M format, created using Unsloth Studio.

Intended for local inference without a GPU via llama.cpp, Ollama, LM Studio, or similar tools.

About the Base Model

mistral-sk-7b-alpaca-slovak-it is a Slovak instruction-following assistant built on top of slovak-nlp/mistral-sk-7b (itself derived from mistralai/Mistral-7B-v0.1). It was fine-tuned with LoRA on the `saillab/alpaca-slovak-cleaned` dataset — 41,601 Slovak Alpaca-style instructions — and the LoRA adapter was merged back into the base model weights.

Quantization Details

Q4\_K\_M is the recommended balance between size and quality — it applies 4-bit quantization with K-means clustering on key layers.

Hardware Requirements

Usage

llama.cpp

./llama-cli \
  -m mistral-sk-7b-alpaca-slovak-it-Q4_K_M.gguf \
  --chat-template mistral \
  -p "Si užitočný asistent. Odpovedaj po slovensky." \
  -i

Ollama

# Create a Modelfile
cat > Modelfile <<'MODELEOF'
FROM ./mistral-sk-7b-alpaca-slovak-it-Q4_K_M.gguf

SYSTEM "Si užitočný asistent. Riaď sa jazykom a požadovaným formátom používateľa. Ak používateľ nežiada iný jazyk, odpovedaj po slovensky."
MODELEOF

ollama create mistral-sk-7b-sk -f Modelfile
ollama run mistral-sk-7b-sk

Python (llama-cpp-python)

from llama_cpp import Llama

llm = Llama(
    model_path="mistral-sk-7b-alpaca-slovak-it-Q4_K_M.gguf",
    n_ctx=4096,
    n_gpu_layers=-1,  # set to 0 for CPU-only
)

messages = [
    {
        "role": "system",
        "content": (
            "Si užitočný asistent. Riaď sa jazykom a požadovaným formátom "
            "používateľa. Ak používateľ nežiada iný jazyk, odpovedaj po slovensky."
        ),
    },
    {"role": "user", "content": "Stručne vysvetli, čo je kvantizácia."},
]

response = llm.create_chat_completion(
    messages=messages,
    max_tokens=512,
    temperature=0.7,
    top_p=0.95,
)

print(response["choices"][0]["message"]["content"])

Prompt Format

The model uses the Mistral chat template:

<s>[INST] <<SYS>>
Si užitočný asistent. Riaď sa jazykom a požadovaným formátom používateľa.
Ak používateľ nežiada iný jazyk, odpovedaj po slovensky.
<</SYS>>

Your question here [/INST] Model response </s>

Most tools (llama.cpp, Ollama, LM Studio) apply the template automatically.

Limitations

• —The model was trained on translated instructions — responses may contain translation artifacts or unnatural phrasing.
• —It has not been safety-aligned or red-teamed — not suitable for production deployment without additional safeguards.
• —Slovak is the primary language; strict English-only or multilingual requests may not be followed reliably.
• —Structured outputs (JSON, tables, citations) should be validated outside the model.
• —Not intended as a sole source for medical, legal, financial, or other high-stakes decisions.

License

Apache 2.0 — same as the source model.

Related Repositories