Modelpublic

BachDaThan/Mistral-7B-sentiment-analysis-Vietnamese-GGUF

sourceHugging Faceapache-2.0updated 17d agoView on Hugging Face

0likes184downloads

Model Card

Mistral-7B-sentiment-analysis-Vietnamese-GGUF

Model tiếng Việt được merge LoRA và quantize sang GGUF. Dung lượng bên dưới được đọc trực tiếp từ file sau khi build.

Thông số kỹ thuật

Thông số	Giá trị
Kiến trúc	mistral
Số layers	32
Hidden size	4096
Context window	32768
Head dim	128
Attention heads	32
KV heads	8
Vocabulary size	32768
Precision gốc	bfloat16
Base Model	mistralai/Mistral-7B-Instruct-v0.3
LoRA Adapter	quydau/Mistral-7B-sentiment-analysis-Vietnamese
Giấy phép áp dụng	apache-2.0

Các file GGUF

Mức	Tên file	Dung lượng thực tế	VRAM khuyến nghị	Ghi chú
Q4KM	Mistral-7B-sentiment-analysis-Vietnamese-Q4KM.gguf	4.07 GB	~6.1 GB	Bản cân bằng tiêu chuẩn, phù hợp đa số GPU consumer.
Q4KS	Mistral-7B-sentiment-analysis-Vietnamese-Q4KS.gguf	3.86 GB	~5.9 GB	Nhỏ hơn Q4KM một chút, chất lượng gần tương đương.
Q3KM	Mistral-7B-sentiment-analysis-Vietnamese-Q3KM.gguf	3.28 GB	~5.3 GB	Nén sâu hơn, phù hợp máy RAM/VRAM hạn chế.
Q3KS	Mistral-7B-sentiment-analysis-Vietnamese-Q3KS.gguf	2.95 GB	~5.0 GB	Nén sâu, ưu tiên dung lượng hơn chất lượng.

Dung lượng được đo bằng `stat().st_size` sau khi quantize; không phải số ước tính.

Prompt Template

Chat template thật được đọc từ tokenizer_config.json:

text

Qwen2 ChatML (native runtime template; tokenizer_config.json không khai báo trực tiếp).

Hướng dẫn sử dụng nhanh

llama-cpp-python

python

from llama_cpp import Llama

llm = Llama(
    model_path="./Mistral-7B-sentiment-analysis-Vietnamese-Q4_K_M.gguf",
    n_ctx=8192,
    n_gpu_layers=-1,
    verbose=False,
)

response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "Xin chào"},
    ],
    temperature=0.6,
    top_p=0.95,
)

print(response["choices"][0]["message"]["content"])

Ollama

text

FROM ./Mistral-7B-sentiment-analysis-Vietnamese-Q4_K_M.gguf

# Không tự chuyển template Jinja không tương thích sang Ollama. Hãy dùng chat template native của runtime.

PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER num_ctx 8192

Minh bạch & License

—Base model: mistralai/Mistral-7B-Instruct-v0.3
—Base model license (đọc từ Hugging Face): apache-2.0
—LoRA adapter: quydau/Mistral-7B-sentiment-analysis-Vietnamese
—LoRA adapter license (đọc từ Hugging Face): apache-2.0
—License của repo này được xác định sau khi pipeline xác minh license nguồn; không tự gán Apache-2.0.
—GGUF được merge và quantize tự động bởi BachDaThan.

Lưu ý

Model có thể sinh thông tin sai (hallucination). Không sử dụng output làm thay thế tư vấn chuyên môn trong các lĩnh vực quan trọng.