Tillie2026/herbal-chatbot-training-data
Dataset Training MedGemma LoRA Folder ini berisi dataset yang dibuat dari dokumen pada data/source, termasuk PDF lokal dan sumber eksternal terverifikasi yang disimpan di data/source/herbal/external. File Output medgemma_lora_train.jsonl: dataset utama untuk supervised fine-tuning MedGemma LoRA. medgemma_lora_validation.jsonl: dataset validasi. medical_diagnosis_safety_train.jsonl: subset medical interview untuk diagnosis awal dan safety response.… See the full description on the dataset page: https://huggingface.co/datasets/Tillie2026/herbal-chatbot-training-data.
033
Dataset Training MedGemma LoRA
Folder ini berisi dataset yang dibuat dari dokumen pada data/source, termasuk PDF lokal dan sumber eksternal terverifikasi yang disimpan di data/source/herbal/external.
File Output
medgemma_lora_train.jsonl: dataset utama untuk supervised fine-tuning MedGemma LoRA.medgemma_lora_validation.jsonl: dataset validasi.medical_diagnosis_safety_train.jsonl: subset medical interview untuk diagnosis awal dan safety response.medical_diagnosis_safety_validation.jsonl: subset validasi medical interview.herbal_grounded_train.jsonl: subset training dari dokumen herbal PDF.herbal_grounded_validation.jsonl: subset validasi dari dokumen herbal PDF.herbal_structured_candidates.jsonl: kandidat pemetaan kondisi-ramuan hasil ekstraksi otomatis dari chunk sumber.herbal_structured_candidates_train.jsonl: contoh training untuk ekstraksi kandidat pemetaan herbal.herbal_structured_candidates_validation.jsonl: contoh validasi untuk ekstraksi kandidat pemetaan herbal.humanizing_followup_train.jsonl: contoh follow-up percakapan dari medical interview agar model tidak mengulang anamnesis dari awal.humanizing_followup_validation.jsonl: validasi follow-up percakapan.rag_chroma_chunks.jsonl: chunk knowledge base herbal untuk ingestion ke Chroma.herbal_pdf_pages.jsonl: teks per halaman hasil ekstraksi PDF.dataset_manifest.json: ringkasan sumber, jumlah data, dan konfigurasi generator.build_training_data.py: script generator agar dataset bisa dibuat ulang.
Format Dataset LLM
File medgemma_lora_*.jsonl menggunakan format chat:
{
"id": "medical-000001",
"task_type": "diagnosis_awal_dan_safety",
"messages": [
{"role": "system", "content": "..."},
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."}
],
"metadata": {}
}Catatan Safety
Dataset ini mempertahankan proses diagnosis awal, tetapi output selalu dibatasi sebagai dugaan non-final. Dataset tidak dimaksudkan untuk melatih model agar menggantikan dokter, tidak melatih klaim kesembuhan, dan tidak melatih rekomendasi obat modern. Kandidat pemetaan herbal yang diekstrak otomatis hanya dipakai untuk training ekstraksi dan analisis cakupan; aplikasi tetap memakai pemetaan terkurasi dan safety layer sebelum memberi rekomendasi.
Statistik Singkat
{
"created_at": "2026-05-24T12:31:54Z",
"source_directory": "data/source",
"output_directory": "data/traning",
"medical_source": "data/source/health_Consultation_medical_interview/medical_Interview_raw.csv",
"herbal_sources": [
"data/source/herbal/Jurnal+VILCO+upload.pdf",
"data/source/herbal/NASKAH PENGOBATAN NASIONAL MASYARAKAT SERAWAI.pdf",
"data/source/herbal/S_BIO_1301718_Chapter1.pdf",
"data/source/herbal/Serat CenthinI.pdf",
"data/source/herbal/external/Jamu_Saintifik_Lompatan_Ilmiah_Pengembangan_Jamu.pdf",
"data/source/herbal/external/Kepmenkes_187_2017_Formularium_Ramuan_Obat_Tradisional_Indonesia.pdf",
"data/source/herbal/external/Permenkes_6_2016_Formularium_Obat_Herbal_Asli_Indonesia.pdf",
"data/source/herbal/external/Vademekum_Tanaman_Obat_Saintifikasi_Jamu_Jilid_2.pdf"
],
"external_herbal_sources": {
"Permenkes_6_2016_Formularium_Obat_Herbal_Asli_Indonesia.pdf": {
"title": "Permenkes Nomor 6 Tahun 2016 tentang Formularium Obat Herbal Asli Indonesia",
"publisher": "Kementerian Kesehatan RI / BPK",
"url": "https://peraturan.bpk.go.id/Home/Download/103948/Permenkes%20Nomor%206%20Tahun%202016.pdf"
},
"Kepmenkes_187_2017_Formularium_Ramuan_Obat_Tradisional_Indonesia.pdf": {
"title": "Kepmenkes HK.01.07/MENKES/187/2017 tentang Formularium Ramuan Obat Tradisional Indonesia",
"publisher": "Kementerian Kesehatan RI / Farmalkes",
"url": "https://farmalkes.kemkes.go.id/unduh/kepmenkes-187-2017/"
},
"Vademekum_Tanaman_Obat_Saintifikasi_Jamu_Jilid_2.pdf": {
"title": "Vademekum Tanaman Obat untuk Saintifikasi Jamu Jilid 2",
"publisher": "Badan Penelitian dan Pengembangan Kesehatan, Kementerian Kesehatan RI",
"url": "https://repository.kemkes.go.id/book/752"
},
"Jamu_Saintifik_Lompatan_Ilmiah_Pengembangan_Jamu.pdf": {
"title": "Jamu Saintifik: Suatu Lompatan Ilmiah Pengembangan Jamu",
"publisher": "Badan Litbang Kesehatan, Kementerian Kesehatan RI",
"url": "https://repository.kemkes.go.id/book/407"
}
},
"format": "chat_messages_jsonl",
"model_target": "MedGemma LoRA",
"vector_db_target": "Chroma",
"counts": {
"medical_train": 16000,
"medical_validation": 3500,
"herbal_train": 1146,
"herbal_validation": 1000,
"herbal_structured_candidates": 2146,
"herbal_structured_candidates_train": 1146,
"herbal_structured_candidates_validation": 1000,
"humanizing_train": 3000,
"humanizing_validation": 700,
"medgemma_lora_train": 21292,
"medgemma_lora_validation": 6200,
"rag_chroma_chunks": 2348,
"herbal_pdf_pages": 656
},
"medical_sampling_stats": {
"raw_rows": 497974,
"validation_low": 2578,
"train_low": 12126,
"validation_high": 922,
"train_high": 3874,
"skipped_invalid": 45
},
"humanizing_sampling_stats": {
"focus_explain_assessment": 99229,
"focus_risk_clarification": 99367,
"focus_self_care": 99324,
"focus_herbal_safety": 99075,
"focus_when_to_seek_care": 99561,
"skipped_invalid": 1418,
"available": 496556,
"train_selected": 3000,
"validation_selected": 700
},
"risk_distribution_selected": {
"low": 14704,
"high": 4796
},
"top_topics_selected": {
"tuberkulosis": 1637,
"kehamilan": 499,
"menstruasi": 427,
"obat": 401,
"hiv": 354,
"diare": 321,
"pneumonia": 273,
"bayi": 262,
"infeksi ginjal": 258,
"stroke": 240,
"kontrasepsi": 236,
"intim wanita": 233,
"gangguan pencernaan": 230,
"diabetes": 205,
"infeksi saluran kemih": 191,
"bronkitis": 186,
"batu ginjal": 184,
"intim laki laki": 177,
"keputihan": 167,
"kulit": 166,
"aids": 166,
"nutrisi": 165,
"asam lambung": 158,
"wajah": 157,
"sars cov 2": 154,
"konsultasi kehamilan": 150,
"infeksi jamur": 143,
"benjolan": 136,
"pembengkakan kelenjar getah bening": 130,
"gagal ginjal": 128,
"sakit kepala": 124,
"sesak napas": 123,
"hasil lab": 118,
"cedera": 116,
"perawatan kulit": 114,
"gigi": 114,
"bekas luka": 113,
"jerawat": 105,
"kanker": 104,
"lipoma": 103,
"merencanakan kehamilan": 103,
"demam": 102,
"tukak lambung": 95,
"gatal": 92,
"konsultasi gizi dan pola makan": 91,
"nyeri dada": 90,
"herba": 85,
"operasi": 84,
"keguguran": 84,
"psikologi": 83
},
"safety_notes": [
"Diagnosis awal adalah dugaan non-final.",
"Dataset tidak digunakan untuk menggantikan diagnosis dokter.",
"Rekomendasi ramuan harus tetap melewati safety layer dan knowledge base retrieval.",
"Kandidat pemetaan terstruktur adalah hasil ekstraksi otomatis dan tidak diaktifkan sebagai rekomendasi sampai dikurasi.",
"Pertanyaan dan jawaban sumber dianonimkan secara heuristik."
]
}