preacher19/lora-roberta-frankenstein-ner-demo

LoRA-RoBERTa Token Classification (NER Novel Frankenstein)

Aplikasi demonstrasi dan perbandingan interaktif 3 metode pelatihan model RoBERTa-base (Full Fine-Tuning Baseline, Regular LoRA $r=8, \alpha=16$, dan Best LoRA $r=8, \alpha=64$) untuk tugas Named Entity Recognition (NER) bersumber daya rendah (low-resource) pada novel klasik Frankenstein karya Mary Shelley.

Fokus utama penelitian ini adalah menguji daya tangkap model terhadap *Entitas Tersembunyi Sastra (Literary Hidden Entities)—kata benda umum penunjuk tokoh utama seperti monster, creature, wretch, fiend, demon, creator*—yang secara konvensional sering terlewatkan (dilabeli O) oleh model NER standar.

Fitur Utama Hugging Face Space Ini

1. 1.Interactive Model Playground (Side-by-Side Comparison):
2. 2.Pengujian langsung secara bersamaan (side-by-side) pada 3 model:
3. 3.Metode 1: Baseline Full Fine-Tuning (124M Trainable Params, $\text{LR}=5 \times 10^{-5}$)
4. 4.Metode 2: Regular LoRA ($r=8, \alpha=16$, 294K Trainable Params, $\text{LR}=5 \times 10^{-4}$)
5. 5.Metode 3: Best LoRA ($r=8, \alpha=64$, 294K Trainable Params, $\text{LR}=5 \times 10^{-4}$)
6. 6.Visualisasi entity highlighting dengan kode warna tag BIO standar OntoNotes 5.0 (PERSON, GPE, DATE, LOC, TIME, NORP, WORK_OF_ART, dll.).
7. 7.Penandaan khusus untuk Literary Hidden Entities.

1. 1.Leaderboard dan Efisiensi Komputasi:
2. 2.Tabel perbandingan metrik evaluasi lengkap (Precision, Recall, F1-Score, Hidden Entity Recall, Waktu Latih GPU, Peak VRAM, dan Persentase Parameter Aktif).

1. 1.Grid Search Sweep Visualizer:
2. 2.Rekapitulasi hasil penyisiran 12 kombinasi hyperparameter Rank ($r \in [4, 8, 16, 32]$) dan Alpha ($\alpha \in [16, 32, 64]$).

1. 1.Metodologi dan Formulasi Skripsi:
2. 2.Penjelasan teoretis mengenai rasionalisasi 3 Epoch / 924 Steps dan formulasi Learning Rate berdasarkan literatur [21] Devlin et al. (2019) & [22] Hu et al. (2021).

Rekapitulasi Performa 3 Metode Utama

Cara Menjalankan Secara Lokal

# 1. Clone repository
git clone https://huggingface.co/spaces/preacher19/lora-roberta-frankenstein-ner-demo
cd lora-roberta-frankenstein-ner-demo

# 2. Install dependencies
pip install -r requirements.txt

# 3. Jalankan aplikasi Gradio
python app.py

Aplikasi akan berjalan di http://localhost:7860.

Lisensi dan Sitasi

Proyek ini dirilis di bawah lisensi MIT.

@thesis{lora_roberta_frankenstein_ner_2026,
  title={Pengaruh Hyperparameter LoRA terhadap Kinerja Model RoBERTa dalam Deteksi Entitas Tersembunyi Sastra Gothic Novel Frankenstein},
  author={Difa Dlya Ulhaq},
  year={2026},
  school={Skripsi NLP / Deep Learning}
}