datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
FineWeb-Edu-10B-Tokens-NPY
FineWeb-Edu 10B Tokens (NPY Format)
数据集概述
这是一个预处理好的教育文本数据集，包含约100亿个tokens，专门为训练小型语言模型（如GPT-2 124M）而设计。数据来源于高质量的FineWeb-Edu数据集，已经使用GPT-2的tiktoken分词器进行预处理，并保存为numpy格式以提高训练效率。
Followed by Let's reproduce GPT-2 (124M). Thanks to Andrej Karpathy!!!
🎯 适用场景
小型语言模型训练：特别适合GPT-2 124M/350M等参数规模的模型
教育研究：高质量教育内容，适合教学和学术研究
快速原型开发：预处理完成，可直接用于训练间
📊 数据统计
总token数量：~10,000,000,000 tokens
分片大小：100M tokens/分片
数据格式：numpy (.npy) uint16数组
分词器：GPT-2 tiktoken
语言：英语… See the full description on the dataset page: https://huggingface.co/datasets/ShallowU/FineWeb-Edu-10B-Tokens-NPY.TinyStories_npyDataset containing synthetically generated (by GPT-3.5 and GPT-4) short stories that only use a small vocabulary.
Described in the following paper: https://arxiv.org/abs/2305.07759.