korean-text
korean_textbooks
Massive Korean synthetic dataset
This dataset is a large-scale Korean artificial data set created using Gemini Pro.
It was created using the methodology described in Creation of synthetic textbook-quality datasets in Textbooks Are All You Need.
Data overview
A subset of each dataset does not indicate the contents of that dataset.
Further modification required before use this dataset for training.
본 데이터셋은 바로 사용하기보다는 하고자하는 task에 맞추어 가공 후 사용을 권장드립니다. ex) 로컬 모델을 사용하여 QA 셋으로… See the full description on the dataset page: https://huggingface.co/datasets/maywell/korean_textbooks.Korean.OCR.Img.text.pairkorean-audio-text-economyConvert YouTube playlists to speech-to-text datasets
korean-text-rendering-data
한글 텍스트 렌더링 학습 데이터
이미지 안에 정확한 한글 텍스트를 렌더링하는 능력 개선을 위해 만들어진 합성(synthetic) 이미지-프롬프트 데이터셋입니다. 2026년 5월~7월에 걸쳐 진행된 세 차례의 별도 학습 이터레이션에서 나온 데이터를 통합했습니다.
총 79,460장, 2개 config(콘텐츠 유형)로 구성. 각 config는 독립적으로 로드할 수 있습니다.
from datasets import load_dataset
ds = load_dataset("<repo_id>", name="diagram") # 유형별로 필요한 것만
이 릴리즈는 순수 한글 타이포그래피 학습에 초점을 맞춰 atomic_text(99.4% 한글)와
diagram(100% 한글) 두 유형만 포함합니다. 둘 다 코드·템플릿 기반 결정론적 생성이라
외부 생성형 서비스에 의존하지 않고, 라이선스 문제가 없습니다. "프롬프트 안 인용부호=정답
텍스트" 컨벤션은 둘 다… See the full description on the dataset page: https://huggingface.co/datasets/fasoo/korean-text-rendering-data.korean-audio-text-developkorean-textbooks-edu
🇰🇷📚 korean-textbooks-edu
maywell/korean_textbooks의 모든 subset을 devngho/ko_edu_classifier_v2_nlpai-lab_KoE5 모델로 평가한 데이터셋
불러오기
from datasets import load_dataset
ds = load_dataset("devngho/korean-textbooks-edu", name="scored_over_3", split="train")
성능
예정
컴퓨팅
Google Cloud TPU, transformers, JAX, tpuswarm
하드웨어
TPU v4-8 x 4 instances, 약 2시간 소요
이 연구는 Google의 TPU Research Cloud (TRC)의 Cloud TPU 제공으로 수행되었습니다. ⚡
라이선스
원본… See the full description on the dataset page: https://huggingface.co/datasets/devngho/korean-textbooks-edu.