Nostrafu/PGABL-WahidSatrioAji-Indonesian-SLM-QLoRA

PGABL Wahid Satrio Aji — Indonesian SLM QLoRA

Adapter hasil fine-tuning model unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit menggunakan dataset Ichsan2895/alpaca-gpt4-indonesian.

Training

• —Framework: Unsloth
• —Method: QLoRA NF4 4-bit double quantization
• —Trainer: SFTTrainer
• —Steps: 800
• —LoRA rank: 16
• —LoRA alpha: 32
• —Target: MHA dan FFN
• —Maximum sequence length: 1024

Penggunaan

Model ini digunakan sebagai generator pada chatbot Tim Legal berbasis RAG. Jawaban hukum harus diverifikasi kembali terhadap dokumen sumber.