datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
minimind_dataset
📌 数据介绍
Ⅰ Tokenizer
分词器可以粗略理解成 LLM 使用的一本“词典”，负责把自然语言映射成 token id，再把 token id 解码回文本；项目中也提供了train_tokenizer.py作为词表训练示例。不建议重新训练 tokenizer，因为词表和切分规则一旦变化，模型权重、数据格式、推理接口与社区生态的兼容性都会下降，也会削弱模型的传播性。同时，tokenizer 还会影响 PPL 这类按 token 统计的指标，因此跨 tokenizer 比较时，BPB（Bits Per Byte）往往更有参考价值，可参考这篇。
对 MiniMind 这类小模型来说，词表大小还会直接影响 embedding 层和输出层的参数占比，因此保持词表精简通常是更合适的取舍。
Tokenizer介绍
第三方强大的开源模型例如 Yi、Qwen2、ChatGLM、Mistral、Llama 3 的 tokenizer 词表长度如下：… See the full description on the dataset page: https://huggingface.co/datasets/jingyaogong/minimind_dataset.minimind-fr-electronics-data
minimind-fr-electronics-data
sft_spec_electronics.jsonl (42,537) — conversations schema.
theprint/Electronics-QA + electronics.stackexchange.com (accepted
answers) + ~25% base-SFT replay; ~30% rows with a diagnostic <think>.
Built by scripts/convert_spec_electronics.py; see the
minimind-fr-electronics model card.
Built from
theprint/Electronics-QA
bshada/electronics.stackexchange.com
allenai/tulu-3-sft-mixture
jpacifico/French-Alpaca-dataset-Instruct-110K… See the full description on the dataset page: https://huggingface.co/datasets/yassinsiouda/minimind-fr-electronics-data.minimind_dataset
📌 数据介绍
Ⅰ Tokenizer
分词器可以粗略理解成 LLM 使用的一本“词典”，负责把自然语言映射成 token id，再把 token id 解码回文本；项目中也提供了train_tokenizer.py作为词表训练示例。不建议重新训练 tokenizer，因为词表和切分规则一旦变化，模型权重、数据格式、推理接口与社区生态的兼容性都会下降，也会削弱模型的传播性。同时，tokenizer 还会影响 PPL 这类按 token 统计的指标，因此跨 tokenizer 比较时，BPB（Bits Per Byte）往往更有参考价值，可参考这篇。
对 MiniMind 这类小模型来说，词表大小还会直接影响 embedding 层和输出层的参数占比，因此保持词表精简通常是更合适的取舍。
Tokenizer介绍
第三方强大的开源模型例如 Yi、Qwen2、ChatGLM、Mistral、Llama 3 的 tokenizer 词表长度如下：
Tokenizer模型词表大小来源… See the full description on the dataset page: https://huggingface.co/datasets/qqceqqq/minimind_dataset.minimind-fr-router-data
minimind-fr-router-data
sft_router.jsonl (17,467) + router_eval.jsonl (2,567 held-out) —
conversations schema, assistant.content is one of creative devops coding electronics general unsafe. Built by scripts/convert_router.py
from the specialist SFT sets + lmsys/toxic-chat. See the
minimind-fr-router model card.
Built from
lmsys/toxic-chat
Format: line-delimited JSON. SFT rows use MiniMind's SFTDataset schema —
{"conversations": [{role, content, reasoning_content… See the full description on the dataset page: https://huggingface.co/datasets/yassinsiouda/minimind-fr-router-data.minimind-fr-creative-data
minimind-fr-creative-data
sft_spec_creative.jsonl (135,078) — conversations schema. French-native
creative writing (french_instruct + French-Alpaca + French-PD-Books
continuations) + ~37.5% replay of the base SFT mix. Built by
scripts/convert_spec_creative.py; see the minimind-fr-creative model
card for full upstream links.
Built from
angeluriot/french_instruct
jpacifico/French-Alpaca-dataset-Instruct-110K
PleIAs/French-PD-Books
allenai/tulu-3-sft-mixture… See the full description on the dataset page: https://huggingface.co/datasets/yassinsiouda/minimind-fr-creative-data.minimind-fr-pretrain-enfr-data
minimind-fr-pretrain-enfr-data
pretrain_enfr.jsonl — {"text": "..."} per line, 5,315,952 lines,
~4 GB. The exact corpus used for minimind-fr-pretrain-enfr. See the
model card for the build recipe. Upstream: allenai/c4 (ODC-BY).
Built from
allenai/c4
Format: line-delimited JSON. SFT rows use MiniMind's SFTDataset schema —
{"conversations": [{role, content, reasoning_content, tools, tool_calls}]}
(all string fields; tools/tool_calls are JSON strings;… See the full description on the dataset page: https://huggingface.co/datasets/yassinsiouda/minimind-fr-pretrain-enfr-data.minimind_dataset
📌 数据介绍
Ⅰ Tokenizer
分词器可以粗略理解成 LLM 使用的一本“词典”，负责把自然语言映射成 token id，再把 token id 解码回文本；项目中也提供了train_tokenizer.py作为词表训练示例。不建议重新训练 tokenizer，因为词表和切分规则一旦变化，模型权重、数据格式、推理接口与社区生态的兼容性都会下降，也会削弱模型的传播性。同时，tokenizer 还会影响 PPL 这类按 token 统计的指标，因此跨 tokenizer 比较时，BPB（Bits Per Byte）往往更有参考价值，可参考这篇。
对 MiniMind 这类小模型来说，词表大小还会直接影响 embedding 层和输出层的参数占比，因此保持词表精简通常是更合适的取舍。
Tokenizer介绍
第三方强大的开源模型例如 Yi、Qwen2、ChatGLM、Mistral、Llama 3 的 tokenizer 词表长度如下：
Tokenizer模型词表大小来源… See the full description on the dataset page: https://huggingface.co/datasets/0Xw3ak/minimind_dataset.