CoolFace
Datasetpublic

taqiyudinadn/EOS-Continued-Pretraining-Dataset

EOS Continued Pre-Training Dataset (Indonesia) Deskripsi Dataset EOS Continued Pre-Training Dataset adalah korpus teks bahasa Indonesia yang dikurasi untuk proses Continued Pre-Training (CPT) pada Large Language Models (LLM). Tujuan utama dari dataset ini adalah untuk melakukan Domain Adaptation, yaitu meningkatkan kemampuan model dalam memahami konteks, terminologi, dan nuansa pada dua domain strategis di Indonesia: Pengawasan Ruang Digital (PRD) Digital Talent… See the full description on the dataset page: https://huggingface.co/datasets/taqiyudinadn/EOS-Continued-Pretraining-Dataset.

sourceHugging Faceapache-2.0updated 9mo agoView on Hugging Face
0likes18downloads
Dataset Card

EOS Continued Pre-Training Dataset (Indonesia)

Deskripsi Dataset

EOS Continued Pre-Training Dataset adalah korpus teks bahasa Indonesia yang dikurasi untuk proses Continued Pre-Training (CPT) pada Large Language Models (LLM).

Tujuan utama dari dataset ini adalah untuk melakukan Domain Adaptation, yaitu meningkatkan kemampuan model dalam memahami konteks, terminologi, dan nuansa pada dua domain strategis di Indonesia:

  1. 1.Pengawasan Ruang Digital (PRD)
  2. 2.Digital Talent Pool (DTP)

Dataset ini dibangun melalui proses web crawling intensif terhadap berbagai situs media berita terpercaya, portal pemerintahan, dan publikasi resmi di Indonesia, serta diperkaya dengan data umum dari Wikipedia Bahasa Indonesia untuk menjaga kemampuan generalisasi model.

Komposisi Data

Dataset ini memiliki total ~214.2 Juta Token yang terbagi ke dalam tiga kategori utama:

KategoriDeskripsi DomainTopik UtamaToken (M)Persentase
DTPDigital Talent PoolPengembangan SDM digital, kebijakan talenta, pelatihan vokasi, sertifikasi, tech talent gap.9443.9%
PRDPengawasan Ruang DigitalPemberantasan judi online, penanganan hoaks/disinformasi, perlindungan data pribadi, keamanan siber, perlindungan anak di ranah daring.9242.9%
Wikipedia IDPengetahuan UmumArtikel ensiklopedia umum (sejarah, geografi, budaya) untuk menjaga koherensi bahasa (regularization).28.213.2%
TOTAL214.2100%

Metodologi Pengumpulan Data

1. Sumber Data (Source)

Data dikumpulkan dari sumber terbuka (open source) yang mencakup:

  • —Media Berita Nasional & Lokal: Artikel berita yang membahas isu teknologi, kriminal siber, dan pendidikan.
  • —Portal Pemerintahan: Publikasi resmi terkait kebijakan digital.
  • —Wikipedia Bahasa Indonesia: Dump artikel terfilter.

2. Proses Pengumpulan (Crawling & Processing)

  • —Crawling: Menggunakan custom crawler untuk mengambil teks dari artikel berita yang relevan dengan kata kunci DTP dan PRD.
  • —Cleaning: Penghapusan boilerplate (iklan, menu navigasi, footer), normalisasi whitespace, dan penghapusan duplikasi dokumen.
  • —Filtering: Penyaringan konten untuk memastikan teks berkualitas tinggi dan relevan dengan topik.

Struktur Data

Dataset ini disajikan dalam format standar untuk Language Modeling (Raw Text).

Konfigurasi Data

  • —Kolom Utama: text (Berisi konten artikel/dokumen lengkap).
  • —Split: Tidak ada pembagian train/test/val (Unsupervised Learning). Pengguna disarankan melakukan splitting sendiri sesuai kebutuhan (misal: 95% train, 5% validation).