traintogpb/aihub-koen-translation-integrated-large-10m

AI Hub Ko-En Translation Dataset (Integrated)

AI Hub의 한-영 번역 관련 데이터셋 8개를 병합한 자료입니다. 병합 시 총 데이터 개수는 10,416,509개 이며, train / validation / test는 8:1:1 비율로 분할되었습니다.

• —base-10m: 병합 데이터 100% 사용, 총 10,416,509개
• —mini-1m: 병합 데이터 10% 사용 (base-10m의 각 세트 내에서 10% 임의 선택), 총 1,041,651개
• —tiny-100k: 병합 데이터 1% 사용 (base-10m의 각 세트 내에서 1% 임의 선택), 총 104,165개

Subsets

활용한 데이터셋 목록은 다음과 같으며, 데이터셋 이름 옆 번호는 aihubshell에서의 datasetkey입니다.

• —전문분야 한영 말뭉치 (111)
• —총 개수: 1,350,000
• —중복 제거 후 개수: 1,350,000
• —사용 칼럼: '한국어', '영어'
• —한국어-영어 번역 말뭉치(기술과학) (124)
• —총 개수: 1,344,631
• —중복 제거 후 개수: 1,344,631
• —사용 칼럼: 'ko', 'en'
• —한국어-영어 번역 말뭉치(사회과학) (125)
• —총 개수: 1,361,845
• —중복 제거 후 개수: 1,361,825
• —사용 칼럼: 'ko', 'en'
• —한국어-영어 번역(병렬) 말뭉치 (126)
• —총 개수: 1,602,418
• —중복 제거 후 개수: 1,599,924
• —사용 칼럼: '원문', '번역문'
• —산업정보 연계 주요국 특허 영-한 데이터 (563)
• —총 개수: 359,999
• —중복 제거 후 개수: 358,424
• —사용 칼럼: 'astrtcontkor', 'astrtconteng'
• —일상생활 및 구어체 한-영 번역 병렬 말뭉치 데이터 (71265)
• —총 개수: 2,700,345
• —중복 제거 후 개수: 2,486,058
• —사용 칼럼: 'ko', 'en'
• —기술과학 분야 한-영 번역 병렬 말뭉치 데이터 (71266)
• —총 개수: 1,350,162
• —중복 제거 후 개수: 1,328,987
• —사용 칼럼: 'ko', 'en'
• —방송콘텐츠 한국어-영어 번역 말뭉치 (71382)
• —총 개수: 587,084
• —중복 제거 후 개수: 586,660
• —사용 칼럼: '원문', '최종번역문'