ZombitX64/OpenSubtitles-Thai-English

OpenSubtitles-Thai-English: YouTube Subtitle Parallel Dataset (en-th)

<!-- สรุปข้อมูลชุดข้อมูลนี้อย่างย่อ (ภาษาไทย) -->

ชุดข้อมูลนี้เป็นชุดข้อมูลแปลภาษาอังกฤษ-ไทย (en-th) ที่ได้จากซับไตเติล YouTube โดยผ่านกระบวนการ clean, dedup, และ alignment เพื่อให้เหมาะกับงาน NLP/ML เช่น การฝึกโมเดลแปลภาษา การสร้าง embedding หรือ fine-tune LLM

This dataset contains English-Thai (en-th) parallel sentences extracted from YouTube subtitles, cleaned, deduplicated, and aligned for NLP/ML tasks such as machine translation, embedding, or LLM fine-tuning.

• —Repository: https://github.com/JonusNattapong/OpenSubtitles
• —HuggingFace Dataset: https://huggingface.co/datasets/ZombitX64/OpenSubtitles-Thai-English
• —License: cc-by-nc-nd-4.0
• —Languages: th, en

รายละเอียดชุดข้อมูล (Dataset Details)

คำอธิบายชุดข้อมูล (Dataset Description)

ชุดข้อมูลนี้ประกอบด้วยประโยคภาษาไทยและภาษาอังกฤษที่จัดเรียงแบบขนาน (parallel) เหมาะสำหรับงานแปลภาษา การประเมินคุณภาพโมเดล หรือการประยุกต์ใช้ในงาน NLP อื่น ๆ

This dataset consists of parallel Thai-English sentences, suitable for translation, model evaluation, or other NLP applications.

• —ผู้จัดทำ (Curated by): [More Information Needed]
• —แหล่งทุน (Funded by): [More Information Needed]
• —ผู้แบ่งปัน (Shared by): [More Information Needed]

แหล่งข้อมูล (Dataset Sources)

• —Repository: https://github.com/ZombitX64/OpenSubtitles-Thai-English
• —HuggingFace: https://huggingface.co/datasets/ZombitX64/OpenSubtitles-Thai-English
• —Paper: [More Information Needed]
• —Demo: [More Information Needed]

การใช้งาน (Uses)

การใช้งานโดยตรง (Direct Use)

• —ฝึกโมเดลแปลภาษา (translation)
• —ประเมินคุณภาพโมเดล
• —งาน NLP อื่น ๆ ที่ต้องการข้อมูลขนาน en-th

การใช้งานที่ไม่เหมาะสม (Out-of-Scope Use)

• —ใช้ในทางที่ผิดกฎหมายหรือผิดจริยธรรม
• —ใช้เพื่อสร้างเนื้อหาที่เป็นอันตรายหรือสร้างความเกลียดชัง

โครงสร้างชุดข้อมูล (Dataset Structure)

• —video_id: ไอดีวิดีโอ YouTube
• —text_thai: ข้อความภาษาไทย
• —text_original: ข้อความภาษาอังกฤษ

ตัวอย่าง (Example):

การสร้างชุดข้อมูล (Dataset Creation)

เหตุผลในการจัดทำ (Curation Rationale)

เพื่อสนับสนุนการวิจัยและพัฒนาเทคโนโลยีภาษาไทยและการแปลภาษา

ข้อมูลต้นทาง (Source Data)

การเก็บและประมวลผลข้อมูล (Data Collection and Processing)

• —ดึงซับไตเติลจาก YouTube ด้วย yt-dlp
• —ทำความสะอาดข้อความ ลบ tag/timestamp/ซ้ำ
• —align ข้อความ en-th ด้วย heuristic และ fuzzy match
• —export เป็น CSV, JSON, Parquet

ผู้สร้างข้อมูลต้นทาง (Who are the source data producers?)

• —ผู้สร้างวิดีโอและซับไตเติลบน YouTube

การใส่คำอธิบายประกอบ (Annotations)

• —ไม่มีการใส่ annotation เพิ่มเติม

ข้อมูลส่วนบุคคลและข้อมูลอ่อนไหว (Personal and Sensitive Information)

• —ไม่มีข้อมูลส่วนบุคคลหรือข้อมูลอ่อนไหวโดยตรง
• —หากพบข้อมูลส่วนบุคคลในซับไตเติล ได้พยายามลบออกแล้ว

อคติ ความเสี่ยง และข้อจำกัด (Bias, Risks, and Limitations)

• —ข้อมูลอาจมีอคติจากเนื้อหาต้นทาง
• —การ align อัตโนมัติอาจมีข้อผิดพลาดบางส่วน
• —อาจมี noise หรือคู่แปลไม่ตรง 100% ในบางกรณี

ข้อแนะนำ (Recommendations)

• —ควรตรวจสอบและประเมินคุณภาพข้อมูลก่อนนำไปใช้งานจริง
• —เหมาะสำหรับงานวิจัย/ทดลอง ไม่ควรใช้ในงาน production โดยไม่ตรวจสอบ

ตัวอย่างการใช้งาน (Example Usage)

from datasets import load_dataset

ds = load_dataset('ZombitX64/OpenSubtitles-Thai-English')
print(ds['train'][0])
# {'video_id': '...', 'text_thai': '...', 'text_original': '...'}

การอ้างอิง (Citation)

BibTeX:

[More Information Needed]

APA:

[More Information Needed]

คำศัพท์ (Glossary)

[More Information Needed]

ข้อมูลเพิ่มเติม (More Information)

[More Information Needed]

ผู้จัดทำ (Dataset Card Authors)

[More Information Needed]

ช่องทางติดต่อ (Dataset Card Contact)

[More Information Needed]