Datasetpublic

ShallowU/FineWeb-Edu-10B-Tokens-NPY

FineWeb-Edu 10B Tokens (NPY Format) 数据集概述这是一个预处理好的教育文本数据集，包含约100亿个tokens，专门为训练小型语言模型（如GPT-2 124M）而设计。数据来源于高质量的FineWeb-Edu数据集，已经使用GPT-2的tiktoken分词器进行预处理，并保存为numpy格式以提高训练效率。 Followed by Let's reproduce GPT-2 (124M). Thanks to Andrej Karpathy!!! 🎯 适用场景小型语言模型训练：特别适合GPT-2 124M/350M等参数规模的模型教育研究：高质量教育内容，适合教学和学术研究快速原型开发：预处理完成，可直接用于训练间 📊 数据统计总token数量：~10,000,000,000 tokens 分片大小：100M tokens/分片数据格式：numpy (.npy) uint16数组分词器：GPT-2… See the full description on the dataset page: https://huggingface.co/datasets/ShallowU/FineWeb-Edu-10B-Tokens-NPY.

sourceHugging Facemitupdated 1y agoView on Hugging Face

3likes2.1kdownloads

settings

This repository belongs to ShallowU on Hugging Face.

CoolFace never edits a repository it does not host. Visibility, licence, collaborators and gating are all managed at the source.

nameFineWeb-Edu-10B-Tokens-NPY

visibilitypublic

licencemit

gatedno

ownerShallowU

Account settings