Modelpublic

minhmnq/byt5-vietnamese-restoration

sourceHugging Facemitupdated 1mo agoView on Hugging Face

0likes176downloads

Model Card

ByT5 Vietnamese Diacritic & Punctuation Restoration

Mô hình học sâu cấp độ byte (Byte-Level ByT5) được tinh chỉnh chuyên biệt cho bài toán khôi phục dấu thanh điệu và phục hồi khoảng trắng (phân đoạn từ) tiếng Việt.

Điểm nổi bật

—Phục hồi 100% mất khoảng trắng: Phục hồi chính xác các chuỗi dính liền không dấu (homnaytroidep -> hôm nay trời đẹp).
—Khóa bảo toàn nội dung gốc (`BaseContentMatch ≈ 100%`): Đảm bảo không sinh từ ảo giác.
—Tích hợp Hybrid Lexical Trigram Reranking: Khử nhập nhằng từ đồng âm.

Cách sử dụng

python

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch

repo = "minhmnq/byt5-vietnamese-restoration"
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSeq2SeqLM.from_pretrained(repo).to(device)
model.eval()

text = "toidanghocxulyngonngutunhien"
inputs = tokenizer(text, return_tensors="pt").to(device)
output = model.generate(**inputs, max_new_tokens=256, num_beams=4)
print(tokenizer.decode(output[0], skip_special_tokens=True))
# Kết quả: tôi đang học xử lý ngôn ngữ tự nhiên