kdirgul/smartcore-v1-data

SmartCore V4 — Pretraining Verisi (12B token, EN+TR+kod+math)

SmartCore V4 (sıfırdan ~180M Mamba-3 SISO + GQA 5:1 hibrit, EN temel + TR ikincil) projesinin ön-tokenize edilmiş, dekontamine pretraining verisi.

• —Tokenizer: `kdirgul/smartcore-v4` → tokenizer/ (48K SentencePiece, byte_fallback, EN+TR).
• —Paketleme: Her doküman encode + EOS → ardışık 2048 token'lık dizilere paketlendi (doc-arası carry-over). Padding yok.
• —Format: parquet shard'lar, şema {input_ids: list<uint16>[2048], source: str, lang: str}. uint16 (token id < 48000).
• —Oluşturma: 2026-06-05, kod/faz1_01_tokenize_shard.py (proje deposu).

İçerik (toplam 12.00B token, 181 shard, ~18GB)

Her kaynak <source>/shard_*.parquet + <source>/manifest.json altında.

Eğitim karışımı (mixture)

Shard'lar kaynak-bazlı saklanır; oranlar eğitimde uygulanır: %55 EN / %22 TR / %13 kod / %10 math. (Decay/anneal fazında top-quartile alt küme — bkz. proje kılavuzu.)

Dekontaminasyon

Eval paneline karşı 13-gram örtüşmesiyle kontamine dokümanlar çıkarıldı (kod/decontam.py). Eval panel (9/11 set): Belebele-tr, XNLI-tr, XCOPA-tr, TR-MMLU + HellaSwag, ARC-E/C, BoolQ, MMLU. (MKQA + PIQA gate/script nedeniyle hariç.)

Yükleme

from datasets import load_dataset
ds = load_dataset("kdirgul/smartcore-v4-data", data_dir="en_fineweb_edu", split="train", streaming=True)
ex = next(iter(ds))           # {"input_ids": [2048 token], "source": "...", "lang": "..."}

Lisans / kullanım notu

Türev veri; kaynak lisansları geçerli: FineWeb-Edu (ODC-By), FineWeb2-HQ, codeparrot-clean, open-web-math. Yalnız araştırma/eğitim amaçlı. Repo private.