moh-affan/reranker-asn-sumenep-dataset

Dataset Reranker ASN — Regulasi Kepegawaian (Kabupaten Sumenep)

Dataset pasangan (query, passage, label) untuk fine-tuning cross-encoder reranker pada domain regulasi ASN (Aparatur Sipil Negara) Bahasa Indonesia. Dibangun sebagai komponen retrieval pipeline dalam tesis: "Sistem RAG berbasis LLM untuk Tanya Jawab Regulasi ASN di Kabupaten Sumenep".

Isi Dataset

Setiap baris JSONL:

{
  "query": "Apa syarat kenaikan pangkat reguler ASN golongan III/b?",
  "passage": "Kenaikan pangkat reguler diberikan kepada PNS yang telah...",
  "label": 1.0,
  "pair_type": "positive",
  "source_chunk_id": "...",
  "passage_chunk_id": "...",
  "metadata": {"jenis_regulasi": "...", "nomor": "...", "tahun": "...", "pasal_number": "..."}
}

Metodologi Pembuatan

• —Sumber: chunk regulasi ASN aktif (is_active=True, bukan penjelasan pasal) dari koleksi Qdrant regulasi-kepegawaian-v3, disampling stratified per jenis_regulasi supaya kategori minoritas (Perpres, Surat Edaran, dll.) tetap terwakili, bukan tenggelam oleh kategori mayoritas (PP, Permen, Perka BKN).
• —Query sintetis: digenerate oleh Gemini per chunk, 2 pertanyaan natural Bahasa Indonesia yang jawabannya ada langsung di teks chunk tersebut.
• —Easy negative: chunk random dari pool, topik biasanya jauh berbeda.
• —Hard negative: kandidat top-BM25 (mirip keyword, beda konteks), diverifikasi ulang oleh LLM untuk mengurangi false negative (kandidat yang kebetulan juga menjawab query dengan benar).
• —Split (jika tersedia train.jsonl/val.jsonl/test.jsonl): stratified by source_chunk_id — semua pasangan dari satu chunk selalu berada di split yang sama, sehingga tidak ada query leakage antar split.

Limitasi

• —Domain spesifik: regulasi ASN Indonesia (PP, Permenpan-RB, Perka BKN, Perbup). Performa reranker yang dilatih dari dataset ini di domain lain tidak dijamin.
• —Query sintetis dari LLM, bukan query pengguna asli — bisa kurang menangkap variasi bahasa sehari-hari/typo yang muncul di penggunaan nyata.

Sitasi

@mastersthesis{affan2025rerankerdataset,
  title   = {Sistem RAG berbasis LLM untuk Tanya Jawab Regulasi ASN
             di Kabupaten Sumenep dengan Fine-tuned Reranker},
  author  = {Affan},
  school  = {BKPSDM Kabupaten Sumenep / ISTTS Surabaya},
  year    = {2025},
  note    = {Dataset tersedia di https://huggingface.co/datasets/moh-affan/reranker-asn-sumenep-dataset}
}

• —Author: Affan
• —Institusi: BKPSDM Kabupaten Sumenep / ISTTS Surabaya
• —Tanggal upload: 2026-08-05
• —License: MIT