BachDaThan/vietnamese-news-summarizer-v2-GGUF
0176
vietnamese-news-summarizer-v2-GGUF
Model tiếng Việt được merge LoRA và quantize sang GGUF. Dung lượng bên dưới được đọc trực tiếp từ file sau khi build.
Thông số kỹ thuật
Các file GGUF
Dung lượng được đo bằng `stat().st_size` sau khi quantize; không phải số ước tính.
Prompt Template
Chat template thật được đọc từ tokenizer_config.json:
{% for message in messages %}{% if message['role'] == 'system' %}<|im_start|>system\n{{ message['content'] }}<|im_end|>\n{% elif message['role'] == 'user' %}<|im_start|>user\n{{ message['content'] }}<|im_end|>\n{% elif message['role'] == 'assistant' %}<|im_start|>assistant\n{{ message['content'] }}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}Hướng dẫn sử dụng nhanh
llama-cpp-python
from llama_cpp import Llama
llm = Llama(
model_path="./vietnamese-news-summarizer-v2-Q4_K_M.gguf",
n_ctx=8192,
n_gpu_layers=-1,
verbose=False,
)
response = llm.create_chat_completion(
messages=[
{"role": "user", "content": "Xin chào"},
],
temperature=0.6,
top_p=0.95,
)
print(response["choices"][0]["message"]["content"])Ollama
FROM ./vietnamese-news-summarizer-v2-Q4_K_M.gguf
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER num_ctx 8192Minh bạch & License
- Base model:
Qwen/Qwen2.5-1.5B-Instruct - Base model license (đọc từ Hugging Face):
apache-2.0 - LoRA adapter:
vinhthuan/vietnamese-news-summarizer-v2 - LoRA adapter license (đọc từ Hugging Face):
apache-2.0 - License của repo này được xác định sau khi pipeline xác minh license nguồn; không tự gán Apache-2.0.
- GGUF được merge và quantize tự động bởi BachDaThan.
Lưu ý
Model có thể sinh thông tin sai (hallucination). Không sử dụng output làm thay thế tư vấn chuyên môn trong các lĩnh vực quan trọng.