Marvis12957/ai_in_action_lab21_attn_only

aiinactionlab21attn_only — LoRA adapter (đối chứng vị trí)

Adapter đối chứng cho bài lab 21 — Fine-tuning LLMs (LoRA/QLoRA). Cùng dữ liệu, cùng epochs với `ai_in_action_lab21` (cấu hình đúng), nhưng LoRA chỉ gắn vào 2 loại module (q, v) thay vì 12 loại (text-linear). Rank được nâng lên 283 để khớp ngân sách tham số với run correct (lệch 0.025%).

Tác giả: Trần Văn Hiếu · MSSV 2A202602030

Cấu hình huấn luyện

Kết quả đánh giá (n = 50 mẫu target)

Mục đích thí nghiệm

So với run correct (0.965), chênh lệch 0.005 trên n = 50 nằm trong nhiễu đo — không đủ để kết luận vị trí gắn adapter nào tốt hơn. Kết luận rút ra: ngân sách tham số (rank × số vị trí gắn) là đòn bẩy chính, không phải bản thân vị trí gắn LoRA — miễn ngân sách tham số được giữ khớp.

Cách nạp

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

BASE = "unsloth/Qwen3.5-4B"
model = AutoModelForCausalLM.from_pretrained(BASE, device_map="auto")
model = PeftModel.from_pretrained(model, "Marvis12957/ai_in_action_lab21_attn_only")