NathMen12/Mistral-7B-Instruct-v0.3-GGUF

NathMen12/Mistral-7B-Instruct-v0.3-GGUF

[English](#english) | [Français](#français)

English

GGUF quantized version of `mistralai/Mistral-7B-Instruct-v0.3`, for use with llama.cpp, Ollama, LM Studio, koboldcpp, and other GGUF-compatible runtimes.

📋 Details

• —Base model: mistralai/Mistral-7B-Instruct-v0.3
• —Method: GGUF quantization (Q4KM, Q5KM) via llama.cpp
• —Total size: ~8.86 GB
• —Generated on: 2026-08-26
• —Generated with: automatic GGUF quantization Colab notebook (CPU, no GPU required)

📁 Files

🚀 Usage

# With llama.cpp
./llama-cli -m Mistral-7B-Instruct-v0.3-Q4_K_M.gguf -p "Hello"

# Or with Ollama (minimal Modelfile)
# FROM ./Mistral-7B-Instruct-v0.3-Q4_K_M.gguf

⚠️ Disclaimer

This model was quantized automatically. Always check output quality against the original model before using it in production.

Français

Version quantizée en GGUF de `mistralai/Mistral-7B-Instruct-v0.3`, pour une utilisation avec llama.cpp, Ollama, LM Studio, koboldcpp et autres runtimes compatibles GGUF.

📋 Détails

• —Modèle de base : mistralai/Mistral-7B-Instruct-v0.3
• —Méthode : Quantization GGUF (Q4KM, Q5KM) via llama.cpp
• —Taille totale : ~8.86 GB
• —Date de génération : 2026-08-26
• —Généré avec : notebook Colab de quantization GGUF automatique (CPU, sans GPU)

📁 Fichiers

🚀 Utilisation

# Avec llama.cpp
./llama-cli -m Mistral-7B-Instruct-v0.3-Q4_K_M.gguf -p "Bonjour"

# Ou avec Ollama (Modelfile minimal)
# FROM ./Mistral-7B-Instruct-v0.3-Q4_K_M.gguf

⚠️ Avertissement

Ce modèle a été quantizé automatiquement. Vérifie toujours la qualité des sorties par rapport au modèle original avant toute utilisation en production.