datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
normalized-datasets-for-koreanLLM
Normalized Datasets for Korean LLM (Stage 0.5)
This is a comprehensive pretraining dataset for Korean LLMs containing ~944M normalized documents from 42 source datasets across English, Korean, Code, and Science domains.
Quick Stats
Metric
Value
Total Documents
~944,545,628
Source Datasets
42
Format
JSONL (one JSON object per line)
Languages
English, Korean
Domains
English, Korean, Code, Science
Pipeline Stage
Stage 0.5 (after download, before… See the full description on the dataset page: https://huggingface.co/datasets/mkd-chanwoo/normalized-datasets-for-koreanLLM.korean-assembly-minutes
대한민국 국회 회의록 아카이브
국회 회의록 원문(record.assembly.go.kr) PDF 에서 본문을 뽑아 모은 것이다.
본회의와 각 위원회 회의록이 모두 들어 있다.
수록 기간: 1948~1993
회의 수: 1,951건
본문 분량: 65,306,444자
구성
연도별 JSONL(gzip) 한 덩이다.
from datasets import load_dataset
ds = load_dataset("seoulraphaellee/korean-assembly-minutes", split="train")
ds = load_dataset("seoulraphaellee/korean-assembly-minutes", data_files="data/2026.jsonl.gz", split="train")
필드
이름
설명
meeting_key
회의 식별자 (record:<id>)… See the full description on the dataset page: https://huggingface.co/datasets/seoulraphaellee/korean-assembly-minutes.korean_data_scraper_aihub
Korean Data Scraper — AI-Hub Local Corpus
상태: 비공개 (private) 저장소입니다.
Korean_data_scraper 프로젝트의 aihub_local 소스가 생성한 코퍼스입니다. 국립정보화진흥원 AI-Hub(aihub.or.kr)에서 내려받은 여러 데이터셋의 로컬 zip 압축 파일을 압축 해제하고, 그 안의 json 파일에서 본문 텍스트를 추출한 결과입니다. 샘플로 확인한 내용 중에는 뉴스 기사(신문기사) 카테고리의 AI-Hub 데이터셋에서 추출된 텍스트가 포함되어 있습니다.
스키마
파일당 1개 레코드(JSONL)이며, 다음과 같은 필드를 가집니다.
{"id": "aihub_local:<zip 파일명>:<json 파일명>", "source": "aihub_local", "text": "...", "url": null, "license": "per-dataset -- check the… See the full description on the dataset page: https://huggingface.co/datasets/mkd-minju/korean_data_scraper_aihub.open-korean-instructions4가지 한국어 챗봇 학습용 데이터셋을 합쳐놓았습니다. 이중 ShareGPT 데이터는 멀티턴으로 되어있습니다.
데이터 생성 및 합치는 코드는 https://github.com/HeegyuKim/open-korean-instructions 여기를 참고하세요
이름
#
타입
KoAlpaca v1.0
52K
싱글턴
KoAlpaca v1.1
21K
싱글턴
ShareGPT DeepL 번역
620K(싱글턴), 84K(멀티턴)
멀티턴, 싱글턴
OIG-small-chip2-ko
210K
싱글턴
Korquad-Chat
9.6K
멀티턴, 지식기반
모든 데이터는 포멧이 통일되어 있습니다. <sys>, <usr>, <bot> 세가지 토큰과 줄넘김으로 화자를 구분합니다.
korquad-chat 데이터의 경우, 유저와 봇이 서로를 호칭할 때는 <|bot|>, <|user|>로 되어있습니다.
{"source": "koalpaca-v1.0", "text":… See the full description on the dataset page: https://huggingface.co/datasets/heegyu/open-korean-instructions.korean-petitions
청와대 국민청원
데이터 출처: https://github.com/lovit/petitions_archive
크기: 651.8MB
sample
{
"category": "반려동물",
"begin": "2017-08-25",
"end": "2017-11-23",
"content": "길고양이들 밥주고있는 사람입니다. 최근에 동네주민과 트러블이 생겨 싸움이 일어났습니다. 길고양이들이 모여든다고 밥주지마라고 윽박지르셨습니다. 쓰레기봉투를 뜯는다거나 사람에게 해끼치거나 하지 않았습니다. 단순히 고양이가 모여드는게 싫답니다. 그럼 애들은 굶어죽어야하나요? 길고양이들이 맘놓고 쉬고 밥먹을 수 있는 환경이 전혀 없는데 무작정 밥안주고 물 안주면 얘네는 어떻게 하나요? 안그래도 수명도 짧은데다가 길고양이를 상대로 학대하는 사람들도 많은데 너무 가엾습니다. 강동구청은 고양이 급식소라고 만들어주셨던데 동네마다 한개씩이라도 만들어… See the full description on the dataset page: https://huggingface.co/datasets/heegyu/korean-petitions.korean-web2
Keural-web (Naver Search)
한국어 웹 텍스트 코퍼스. 네이버 검색 API를 통해 수집한 한국어 문서 데이터셋입니다.
데이터 수집 방법
수집 도구: 네이버 검색 Open API (webkr, blog, news 엔드포인트)
검색 키워드: 경제·기술·사회·문화·과학·의학·법학·예술 등 27,192개 한국어 키워드
본문 추출: trafilatura 라이브러리로 HTML에서 본문 추출
수집 기간: 2025년 ~ 2026년
필터링
라인 단위 + 문서 단위 2단계 필터링이 적용된 상태입니다.
라인 단위 제거 항목:
UI/네비게이션 잔재 (로그인, 더보기, 공유 버튼 등)
날짜·메타 태그, 기자 바이라인
광고·도박·성인 키워드
한국어 없는 줄 (영문, 중문, 일문 등)
해시태그, URL, 저작권 문구 등
문서 단위 필터링:
최소 텍스트 길이 미달 문서 제거
반복 문구 비율 초과 문서… See the full description on the dataset page: https://huggingface.co/datasets/chaannwooff/korean-web2.korean_safe_conversation
개요
성균관대 - VAIV COMPANY 산학협력을 위해 구축한 일상대화 데이터입니다.
자연스럽고 윤리적인 챗봇 구축을 위한 데이터셋 입니다.
고품질을 위해 대부분의 과정에서 사람이 직접 검수하였으며생성 번역 등의 과정에서는 GPT3.5-turbo, GPT4를 사용하였습니다.
일상대화에 중점을 두면서혐오표현, 편향적인 대답을 지양하면서 일상대화를 하는 것에 중점을 두었습니다.
데이터 구축 과정
데이터 구성
데이터 종류
개수
비고
url
일상대화 데이터셋
2063
국립국어원 모두의 말뭉치
https://corpus.korean.go.kr/request/reausetMain.do?lang=ko
감성대화
1020
AIHub 감성대화 데이터… See the full description on the dataset page: https://huggingface.co/datasets/jojo0217/korean_safe_conversation.korean-pii-dataset
Korean Synthetic PII Dataset
한국어 문장 안의 개인정보(PII)를 탐색·분석하거나 토큰 분류 모델을 학습할 수 있도록 제작한 합성 데이터셋입니다. 모든 이름·번호·주소와 문장은 합성 값이며 실제 개인의 개인정보를 의도적으로 포함하지 않았습니다.
라이선스
이 데이터셋은 Creative Commons Attribution 4.0 International (CC BY 4.0)으로 제공합니다. 재배포·수정·상업적 이용이 가능하지만, townboy/korean-pii-dataset과 원 저작자를 표시해야 합니다. 라이선스 전문은 저장소의 LICENSE 파일을 확인하세요.
구성
항목
수량
전체 문서
11,732
Train
9,227
Validation
1,510
Test
995
PII span
55,627
PII 유형
33
BIO 라벨
67 (O… See the full description on the dataset page: https://huggingface.co/datasets/townboy/korean-pii-dataset.korean-full-duplex-synthetic-dataset-preview
Korean Full-Duplex Synthetic Dataset Preview
Overview
Public preview of a Korean full-duplex synthetic speech dataset. This
repository contains 100 conversations sampled from a corpus of 89,273
conversations (2,000.5 hours); it does not publish the full corpus audio.
Preview contents
100 conversation WAV files
data/representative.jsonl
24 kHz, mono, 16-bit PCM
Events: normal, barge_in, backchannel, cutoff_by_user
Annotation format… See the full description on the dataset page: https://huggingface.co/datasets/Wi-Fi/korean-full-duplex-synthetic-dataset-preview.korean-vocabulary-5000
Koko Korean 5K — Multilingual Vocabulary Dataset
5,000 carefully curated Korean vocabulary entries with English translations,
romanization, contextual usage notes, and example sentences. Each entry is
also translated into 9 additional languages, giving researchers and
developers a high-quality parallel corpus of 50,000 aligned vocabulary
records anchored to Korean.
The dataset reflects real conversation patterns from K-dramas, K-pop, and
everyday Korean — not textbook-only material… See the full description on the dataset page: https://huggingface.co/datasets/wannaphong/korean-vocabulary-5000.korean-vocabulary-5000
Koko Korean 5K — Multilingual Vocabulary Dataset
5,000 carefully curated Korean vocabulary entries with English translations,
romanization, contextual usage notes, and example sentences. Each entry is
also translated into 9 additional languages, giving researchers and
developers a high-quality parallel corpus of 50,000 aligned vocabulary
records anchored to Korean.
The dataset reflects real conversation patterns from K-dramas, K-pop, and
everyday Korean — not textbook-only material… See the full description on the dataset page: https://huggingface.co/datasets/jaylee8864/korean-vocabulary-5000.korean-text-rendering-data
한글 텍스트 렌더링 학습 데이터
이미지 안에 정확한 한글 텍스트를 렌더링하는 능력 개선을 위해 만들어진 합성(synthetic) 이미지-프롬프트 데이터셋입니다. 2026년 5월~7월에 걸쳐 진행된 세 차례의 별도 학습 이터레이션에서 나온 데이터를 통합했습니다.
총 79,460장, 2개 config(콘텐츠 유형)로 구성. 각 config는 독립적으로 로드할 수 있습니다.
from datasets import load_dataset
ds = load_dataset("<repo_id>", name="diagram") # 유형별로 필요한 것만
이 릴리즈는 순수 한글 타이포그래피 학습에 초점을 맞춰 atomic_text(99.4% 한글)와
diagram(100% 한글) 두 유형만 포함합니다. 둘 다 코드·템플릿 기반 결정론적 생성이라
외부 생성형 서비스에 의존하지 않고, 라이선스 문제가 없습니다. "프롬프트 안 인용부호=정답
텍스트" 컨벤션은 둘 다… See the full description on the dataset page: https://huggingface.co/datasets/fasoo/korean-text-rendering-data.toolllama-korean-function-calling
ToolLLaMA Korean Function Calling Dataset
ToolLLaMA 데이터셋을 한국어-영어 하이브리드로 변환한 Function Calling SFT 데이터셋입니다.
데이터셋 정보
샘플 수: 1,524개 (한국어 762개 + 영어 762개)
포맷: JSONL (ChatML + XML tags)
원본: OpenBMB/ToolBench (toolllama_G123_dfs_eval.json)
번역 전략
항목
언어
User 질문
한국어
Assistant Thought
한국어
Action (함수명)
영어 (유지)
Action Input (JSON)
영어 (유지)
System Prompt (API 정의)
영어 (유지)
Function 결과
영어 (유지)
프롬프트 포맷
<|im_start|>system
You are AutoGPT...… See the full description on the dataset page: https://huggingface.co/datasets/gyung/toolllama-korean-function-calling.korean-english-multitarget-ted-talks-task
Dataset Card for english-korean-multitarget-ted-talks-task
Dataset Summary
Parallel English-Korean Text Corpus
Text was originally transcribed to English from various Ted Talks, then translated to Korean by TED translators
Approximately 166k train, 2k validation, and 2k test sentence pairs.
Supported Tasks and Leaderboards
Machine Translation
Languages
English
Korean
Additional Information
Dataset Curators
Kevin Duh, "The… See the full description on the dataset page: https://huggingface.co/datasets/msarmi9/korean-english-multitarget-ted-talks-task.alpaca-gpt4-koreanThe dataset is used in the research related to MultilingualSIFT.
CC-korean
CC-korean
한국어 웹 텍스트 코퍼스. CommonCrawl WET 파일에서 추출한 한국어 문서 데이터셋입니다.
데이터 수집 방법
소스: CommonCrawl WET 파일 (HTML 제거된 텍스트 포맷)
수집 스냅샷: CC-MAIN-2025-05 ~ CC-MAIN-2026-12 (총 15개 스냅샷, 2025~2026년)
언어 필터: fasttext lid.176.bin 모델로 한국어(ko) 감지, 신뢰도 0.5 이상만 수집
1차 품질 필터: 수집 단계에서 휴리스틱 줄 단위 노이즈 제거 + KenLM perplexity 필터 적용
필터링
수집 후 추가로 2단계 필터링 적용.
줄 단위 인라인 제거:
URL, 이모티콘, 대괄호 태그, 기자 바이라인, 출처 표기 등
줄 단위 제거 항목:
한국어 없는 줄 (영문·중문·일문 등)
UI/네비게이션 잔재 (로그인, 더보기, 공유 버튼, 파이프 구분자 등)
날짜·메타 태그… See the full description on the dataset page: https://huggingface.co/datasets/chaannwooff/CC-korean.korean-embedding-performance-v1-performance-1m
Korean Embedding Performance v1 — 1M
Qwen3-Embedding-8B의 한국어 retrieval data-scale 실험을 위한 정확히
1,000,000-row 연구·비상업 contrastive dataset이다. release_eligible: false, 통합
라이선스 other이며 upstream source 조건을 재허가하지 않는다.
구성
계열
Rows
비율
역할
nlpai-lab/ko-triplet-v1.0
600,254
60.03%
넓은 한국어 QA/retrieval core
F2 Korean QA/instruction
287,000
28.70%
webfaq, mqa, koalpaca, realQA, komagpie
F2 retrieval task train-family
4,146
0.41%
MIRACL, MrTidy, MLDR
F2 PAWS-X… See the full description on the dataset page: https://huggingface.co/datasets/LLM-OS-Models/korean-embedding-performance-v1-performance-1m.korean_rlhf_dataset성균관대학교 산학협력프로젝트 과정에서 한국어 llm 모델 SFT 학습을 위해 구축한 데이터셋 입니다.2023-09-25오픈 어시스턴트 data에서 오픈 어시스턴트를 포함하는 데이터 삭제-> 답변에 오픈 어시스턴트라고 하는 경우가 나오기 때문또한 스탠포드 대학 번역 데이터에서 번역 과정 오류로 input에 입력없음 과 같이 추가된 부분 삭제그리고 <unk> 등으로 gpt 상에서 번역 오류가 난 것들을 삭제
자연스러움을 위해 stanford alpaca data, oig_chip2를 ChatGPT3.5 turbo 16k를 이용하여 새롭게 전처리 과정을 거쳤습니다.https://github.com/JoJo0217/rlhf_korean_dataset/tree/main여기에서 자세한 설명을 볼 수 있으며데이터의 구성은 다음과 같습니다.
데이터 구성
데이터 종류
개수
url
koalpaca v1.1
21155… See the full description on the dataset page: https://huggingface.co/datasets/jojo0217/korean_rlhf_dataset.korean-embedding-performance-v1-ablation-200k
Korean Embedding Performance v1 — Ablation 200K
Qwen3-Embedding-8B의 한국어 retrieval continued fine-tuning에서 LoRA/DoRA/부분 및
full fine-tuning, loss, hard-negative 전략을 비교하기 위한 200,000-row 연구·비상업
성능 데이터다. release_eligible: false이며 통합 라이선스는 other다. upstream
source별 조건을 재허가하지 않는다.
구성
계열
Rows
역할
nlpai-lab/ko-triplet-v1.0@1f5d72d
100,254
넓은 한국어 QA/retrieval core
F2 Korean QA/instruction
68,000
webfaq, mqa, koalpaca, realQA, komagpie
F2 retrieval task… See the full description on the dataset page: https://huggingface.co/datasets/LLM-OS-Models/korean-embedding-performance-v1-ablation-200k.korean-medicine-embedding-dataset
Korean Medicine Embedding Dataset (한의학 임베딩 데이터셋)
A contrastive-learning dataset for training and evaluating domain-adapted text embedding models for Korean Medicine (KM, 한의학). Each example is a query–positive–negatives triplet built from KM terminology resources and a curated KM ontology, capturing semantic relations such as disease–symptom, disease–prescription, prescription–indication, prescription–herb, and herb–indication.
This dataset accompanies the study "A Domain-Adapted… See the full description on the dataset page: https://huggingface.co/datasets/cnupo23/korean-medicine-embedding-dataset.korean-embedding-performance-v1-pilot-50k
Korean Embedding Performance v1 — Pilot 50K
주의: 이 revision은 공개 benchmark 성능 후보 학습에 사용하면 안 된다.
사후 15-task exact text-hash 감사에서 평가 query 고유 hash 4개가 확인됐다.
파이프라인·최적화 진단과 contamination ablation에만 남기며, 교체본은
ablation-200k이다.
Qwen3-Embedding 계열의 한국어 retrieval 성능 실험을 위한 50,000-row 연구용
contrastive dataset이다. 각 row는 instruction-aware query, positive passage 1개,
hard/easy negative passage 1–7개를 ms-swift embedding message schema로 저장한다.
사용 조건과 공개 범위
이 저장소의 통합 라이선스는 other다.… See the full description on the dataset page: https://huggingface.co/datasets/LLM-OS-Models/korean-embedding-performance-v1-pilot-50k.time-embed-korean-temporal-inventory-v2
Time-Embed Korean Temporal Inventory v2
한국어 시간 표현 임베딩 학습·평가 데이터셋입니다.
C1, C3, C5: 문맥 허용 범위가 다른 학습 조건이며 각 314개 query를 포함합니다.
각 학습 query는 승인된 모든 동의 positive(최소 3개)와 정확히 7개 negative를 가집니다.
legacy_validation, legacy_test: 기존 동결 dev/test bytes를 그대로 보존합니다.
inventory_eval: 승인된 희귀·격식·경계 시간 표현 118개입니다.
Inventory Test 원문과 라벨은 공개하지 않으며 sealed/inventory_test_handle.json만 제공합니다.
승인 방식은 개별 행 검수로 위장하지 않은 owner_policy_waiver입니다. 정확한 승인·감사
해시와 산출물은 evidence/, audit/, dataset_manifest.json에… See the full description on the dataset page: https://huggingface.co/datasets/kev-KOH/time-embed-korean-temporal-inventory-v2.AI-MO-NuminaMath-TIR-korean-240918
IMPORTANT NOTE
This data is part of the progress. Current translation progress: 24.85% (2024-09-18 01:32 KST)
I'm taking a short break due to personal reasons. I'll be back in a month.
TODO-LIST
Finish translation
Translation
I used gemini-1.5-pro-exp-0827. The prompt used for translation will be disclosed at the end.
Dataset Card for NuminaMath CoT
Dataset Summary
Tool-integrated reasoning (TIR) plays a crucial role in this… See the full description on the dataset page: https://huggingface.co/datasets/ChuGyouk/AI-MO-NuminaMath-TIR-korean-240918.Korean-YouTube-Comment-Sentiment-Dataset
Korean YouTube Comment Sentiment Dataset
Data Overview
Summary
본 데이터셋은 유튜브에서 수집된 한국어 댓글 5,482개와 이에 대응하는 감정 레이블(긍정, 부정, 중립, 불명확)로 구성된 감정 분류용 데이터셋입니다.
주요 레이블: 긍정, 부정, 중립, 불명확
Features
수집 대상: 요리, 뷰티, 게임, 여행, 쇼핑 등 분야의 10만 명 이상 구독자를 보유한 유튜브 채널
형식: JSON (id, text, label)
검수: 한국인 검수자에 의한 수작업 라벨링 및 교차 검토
본 데이터셋은 구어체, 이모지, 줄임말 등 실제 사용자 표현이 반영되어 있습니다.
Dataset Structure
Dataset Fields
Field
Type
Description
id
string
각 댓글의… See the full description on the dataset page: https://huggingface.co/datasets/LLM-SocialMedia/Korean-YouTube-Comment-Sentiment-Dataset.korean-pii-benchmark-v3
Korean PII Benchmark v3
473 cases for evaluating Korean PII (person, organization, address) detection models.
Covers court judgments, news articles, administrative documents, medical/insurance records, transcripts, and negative examples (law names, case numbers, titles that should NOT be detected).
Entity Distribution
Entity
Spans
private_person
411
private_organization
182
private_address
141
private_phone
65
(negative)
59… See the full description on the dataset page: https://huggingface.co/datasets/schift-io/korean-pii-benchmark-v3.korean_code_reviews_from_githubkorean_guardrail_testKoreanGuardrail
Korean Hangul-Obfuscation Guardrail Robustness Benchmark
한글 자모 단위 표기 난독화(자모분해·초성체·된소리/쌍자음화·띄어쓰기 파괴·투명문자)에
대해 한국어 프롬프트 가드레일이 얼마나 강건한지 측정하는 벤치마크입니다. 프롬프트
인젝션(A1)·프롬프트 리킹(A2) 회피 및 과방어(over-defense)를 함께 평가합니다.
왜 만들었나
기존 한국어 안전 벤치마크는 콘텐츠·가치·유해성 축에 집중되어 있고, 표기 난독화 축은
사실상 비어 있습니다. 이 데이터셋은 단일 분류기형 가드레일이 자모 단위 난독화에 구조적으로
취약하다는 국제적으로 확립된 패턴을 한국어·한글 난독화로 정량 확인하기 위한 것입니다.
구성
benchmark (기본, split test): 평가용 본 데이터. 각 시드에 난독화 변환을 적용해
파생한 행. load_dataset(...) 하면… See the full description on the dataset page: https://huggingface.co/datasets/kimchunsik03/KoreanGuardrail.DistilQwen_100k_korean
DistilQwen 100k Korean
This dataset is a Korean translation of the original alibaba-pai/DistilQwen_100k dataset.
Dataset Structure
The dataset contains both English and Korean versions of instruction-response pairs:
{
"instruction": "Original English instruction text",
"output": "Original English response/answer",
"instruction_kr": "Korean translation of the instruction",
"output_kr": "Korean translation of the response/answer",
"_dataset_index": 30000
}
Each… See the full description on the dataset page: https://huggingface.co/datasets/lcw99/DistilQwen_100k_korean.korean-embedding-performance-v1-sionic-retrieval-train-family-4146
Korean Sionic Retrieval Train-Family 4,146
F2LLM-v2가 공개한 Korean MIRACL, MrTidy, MLDR train-family row만 1M
decontaminated curriculum에서 lossless 추출한 target-adaptation dataset이다. 공개
evaluation query는 포함하지 않으며 current-student HN7 mining 전의 source artifact다.
구성과 목적
source
rows
역할
f2_miracl_ko_train
700
MIRACL Korean retrieval train-family
f2_mrtidy_korean_train
1,200
MrTidy Korean train
f2_mldr_ko_train
2,246
MLDR Korean long-document train-family
합계
4… See the full description on the dataset page: https://huggingface.co/datasets/LLM-OS-Models/korean-embedding-performance-v1-sionic-retrieval-train-family-4146.