izlley2/llm0to1-pt-tokenized-en-edu-2025
LLM0to1 사전학습 토큰화본 — 영어 교육(2025 덤프) 10B 규모 한/영 이중언어 LLM LLM0to1-10b 를 바닥부터 학습할 때 실제로 투입된 영어 교육(2025 덤프) 코퍼스의 토큰화본. 총 28종 / 138.4B 토큰. 왜 원문 텍스트가 아니라 토큰화본인가 이 코퍼스들은 공개 데이터셋을 스트리밍으로 받아 곧바로 토큰화했고 중간 텍스트를 보관하지 않았다. 따라서 이 .ds 파일이 학습에 들어간 데이터의 유일한 사본이다. 단점만 있는 건 아니다. 토큰화본은 학습 입력 그 자체이므로, 재토큰화 과정에서 생길 수 있는 차이 없이 학습을 그대로 재현할 수 있다. 원본 출처 HuggingFaceFW/fineweb-edu 2025 덤프 영어 벤치마크 하락에 대응해 뒤늦게 편입한 '다양성 영어' 보강분이다. g00~`g15` 는 원본 shard 를 균등 분할한 것으로, 서로 다른 문서 집합이다.… See the full description on the dataset page: https://huggingface.co/datasets/izlley2/llm0to1-pt-tokenized-en-edu-2025.
Rewrite card: public tokenizer link + usage guide
Add dataset card
Add tokenized en_edu_2025b_g11 (3.98B tokens)
Add tokenized en_edu_2025b_g10 (3.97B tokens)
Add tokenized en_edu_2025b_g09 (3.97B tokens)
Add tokenized en_edu_2025b_g08 (3.97B tokens)
Add tokenized en_edu_2025b_g07 (3.99B tokens)
Add tokenized en_edu_2025b_g06 (3.99B tokens)
Add tokenized en_edu_2025b_g05 (4.46B tokens)
Add tokenized en_edu_2025b_g04 (4.46B tokens)
Add tokenized en_edu_2025b_g03 (4.51B tokens)
Add tokenized en_edu_2025b_g02 (4.51B tokens)
Add tokenized en_edu_2025b_g01 (4.55B tokens)
Add tokenized en_edu_2025b_g00 (4.55B tokens)
Rewrite card: public tokenizer link + usage guide
Add dataset card
Add tokenized en_edu_2025_g15 (5.25B tokens)
Add tokenized en_edu_2025_g14 (5.24B tokens)
Add tokenized en_edu_2025_g13 (5.58B tokens)
Add tokenized en_edu_2025_g12 (5.58B tokens)
Add tokenized en_edu_2025_g11 (5.59B tokens)
Add tokenized en_edu_2025_g10 (5.60B tokens)
Add tokenized en_edu_2025_g09 (5.61B tokens)
Add tokenized en_edu_2025_g08 (5.61B tokens)
Add tokenized en_edu_2025_g07 (5.44B tokens)
Add tokenized en_edu_2025_g06 (5.43B tokens)
Add tokenized en_edu_2025_g05 (5.36B tokens)
Add tokenized en_edu_2025_g04 (5.35B tokens)
Add tokenized en_edu_2025_g03 (5.34B tokens)
Add tokenized en_edu_2025_g02 (5.33B tokens)
Add tokenized en_edu_2025_g01 (5.61B tokens)
Add tokenized en_edu_2025_g00 (5.61B tokens)
initial commit