kdirgul/smartcore-v1-data

SmartCore V4 — Pretraining Verisi (12B token, EN+TR+kod+math) SmartCore V4 (sıfırdan ~180M Mamba-3 SISO + GQA 5:1 hibrit, EN temel + TR ikincil) projesinin ön-tokenize edilmiş, dekontamine pretraining verisi. Tokenizer: kdirgul/smartcore-v4 → tokenizer/ (48K SentencePiece, byte_fallback, EN+TR). Paketleme: Her doküman encode + EOS → ardışık 2048 token'lık dizilere paketlendi (doc-arası carry-over). Padding yok. Format: parquet shard'lar, şema {input_ids: list<uint16>[2048]… See the full description on the dataset page: https://huggingface.co/datasets/kdirgul/smartcore-v1-data.