Modelpublic

BachDaThan/vietnamese-finance-GGUF

sourceHugging Faceapache-2.0updated 17d agoView on Hugging Face

0likes193downloads

Model Card

vietnamese-finance-GGUF

Model tiếng Việt được merge LoRA và quantize sang GGUF. Dung lượng bên dưới được đọc trực tiếp từ file sau khi build.

Thông số kỹ thuật

Thông số	Giá trị
Kiến trúc	qwen2
Số layers	28
Hidden size	3584
Context window	32768
Attention heads	28
KV heads	4
Vocabulary size	152064
Precision gốc	bfloat16
Base Model	Qwen/Qwen2.5-7B-Instruct
LoRA Adapter	ttkn/vietnamese-finance
Giấy phép áp dụng	apache-2.0

Các file GGUF

Mức	Tên file	Dung lượng thực tế	VRAM khuyến nghị	Ghi chú
Q4KM	vietnamese-finance-Q4KM.gguf	4.36 GB	~6.4 GB	Bản cân bằng tiêu chuẩn, phù hợp đa số GPU consumer.
Q4KS	vietnamese-finance-Q4KS.gguf	4.15 GB	~6.2 GB	Nhỏ hơn Q4KM một chút, chất lượng gần tương đương.
Q3KM	vietnamese-finance-Q3KM.gguf	3.55 GB	~5.5 GB	Nén sâu hơn, phù hợp máy RAM/VRAM hạn chế.
Q3KS	vietnamese-finance-Q3KS.gguf	3.25 GB	~5.3 GB	Nén sâu, ưu tiên dung lượng hơn chất lượng.

Dung lượng được đo bằng `stat().st_size` sau khi quantize; không phải số ước tính.

Prompt Template

Chat template thật được đọc từ tokenizer_config.json:

text

{% for message in messages %}{% if message['role'] == 'system' %}<|im_start|>system\n{{ message['content'] }}<|im_end|>\n{% elif message['role'] == 'user' %}<|im_start|>user\n{{ message['content'] }}<|im_end|>\n{% elif message['role'] == 'assistant' %}<|im_start|>assistant\n{{ message['content'] }}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}

Hướng dẫn sử dụng nhanh

llama-cpp-python

python

from llama_cpp import Llama

llm = Llama(
    model_path="./vietnamese-finance-Q4_K_M.gguf",
    n_ctx=8192,
    n_gpu_layers=-1,
    verbose=False,
)

response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "Xin chào"},
    ],
    temperature=0.6,
    top_p=0.95,
)

print(response["choices"][0]["message"]["content"])

Ollama

text

FROM ./vietnamese-finance-Q4_K_M.gguf

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER num_ctx 8192

Minh bạch & License

—Base model: Qwen/Qwen2.5-7B-Instruct
—Base model license (đọc từ Hugging Face): apache-2.0
—LoRA adapter: ttkn/vietnamese-finance
—LoRA adapter license (đọc từ Hugging Face): apache-2.0
—License của repo này được xác định sau khi pipeline xác minh license nguồn; không tự gán Apache-2.0.
—GGUF được merge và quantize tự động bởi BachDaThan.

Lưu ý

Model có thể sinh thông tin sai (hallucination). Không sử dụng output làm thay thế tư vấn chuyên môn trong các lĩnh vực quan trọng.