Modelpublic

ai-literacy-innovation-institute/ilma-FT-MUI

sourceHugging Faceapache-2.0updated 2mo agoView on Hugging Face

0likes7downloads

Model Card

ILMA-FT-MUI (Islamic Legal Model Assistant)

Model ini adalah LoRA Adapter yang di-fine-tune di atas arsitektur raksasa Qwen3.5-35B-A3B-Base menggunakan metode RAFT (Retrieval Augmented Fine-Tuning). Model ini secara khusus dilatih untuk memberikan jawaban mendalam (Chain-of-Thought) berdasarkan konteks dokumen Fatwa Majelis Ulama Indonesia (MUI).

Penggunaan (Usage)

Karena ini adalah adapter LoRA, Anda perlu memuat base model Qwen-35B terlebih dahulu, kemudian menginjeksi adapter ini.

python

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_model = "Qwen/Qwen3.5-35B-A3B-Base"
adapter_id = "ai-literacy-innovation-institute/ilma-FT-MUI"

tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(base_model)

# Muat LoRA Adapter
model = PeftModel.from_pretrained(model, adapter_id)

Topologi Dataset

Model ini dilatih menggunakan Dataset Gold-Standard khusus Fatwa MUI (Majelis Ulama Indonesia) dengan spesifikasi:

—Total Q&A Pairs: 321 Pasang
—Rata-Rata Panjang Konteks: 1.586 Token (sangat padat informasi)
—Tingkat Kualitas (Faithfulness & Relevance): 4.97 / 5.0 (Dinilai oleh GPT-4o sebagai LLM-as-a-Judge) dengan tingkat Acceptance 99.1%.

Evaluasi Kinerja & Pelatihan

Model dikonvergensi setelah 3 Epoch (119 step) dengan stabilitas tinggi:

—Final Negative Log-Likelihood (NLL): 0.4186
—Final Bits Per Byte (BPB): 0.1358

ROUGE Metrics (Paradoks Penilaian CoT)

Pada pengujian generasi komparatif terhadap 15 sampel, model mencapai skor ROUGE berikut (dievaluasi tanpa tag <think>):

—ROUGE-1: 0.1841
—ROUGE-2: 0.1071
—ROUGE-L: 0.1544

(Catatan Akademis: Meskipun secara kualitatif model memiliki tingkat faktual 100% dan mematuhi format instruksi secara sempurna dengan mencantumkan blok pemikiran abstrak `<think>...</think>`, nilai ROUGE terlihat rendah. Ini adalah Paradoks Evaluasi, karena skrip penilai memotong seluruh narasi di dalam tag `<think>` untuk menilai jawaban akhir (yang ringkas), kemudian membandingkannya dengan Ground Truth yang memuat keseluruhan Chain-of-Thought (yang panjang). Skor Base Model bahkan lebih tinggi secara _false-positive_ karena ia gagal mengikuti instruksi tag dan mengalami lexical verbosity yang bertepatan secara n-gram. Hal ini membuktikan bahwa ILMA-FT-MUI secara absolut sukses dalam kepatuhan format struktural (structural alignment) dari Teacher Model.)