Modelpublic

emrevrg/Norovox-Alpha

sourceHugging Faceapache-2.0updated 2mo agoView on Hugging Face

2likes22downloads

Model Card

Norovox Alpha

Norovox Alpha, random-init ile eğitilmiş özgün NorovoxAlphaCore mimarisine ve kendi 32k BPE tokenizer'ına sahip deneysel bir Türkçe yapay zekâ çekirdeğidir. Qwen/Llama sınıfı veya başka bir modelin ağırlık kopyası değildir. Güncel kanonik SFT checkpoint'i 151.641.856 parametre ve step 67.740 düzeyindedir.

Önemli: Bu sürüm 8B değildir. Model kartı gerçek checkpoint boyutunu açıkça belirtir; isim veya öğretmen büyüklüğü Norovox'un parametre sayısını değiştirmez.

Frontier entegrasyon zinciri

Öğretmen modellerin ağırlıkları Norovox'a birleştirilmedi. Her aşamada 24 kayıtlık denetlenebilir öğretim kümesi üretildi, 256 replay kaydıyla devam-SFT yapıldı ve yalnız hem frontier hem replay kapısını geçen aday kanonik modele terfi ettirildi.

Sıra	Öğretmen	Adım	Frontier loss	Replay loss	Kapı
1	`zai-org/GLM-5.2`	66300 → 66540	10.2911 → 3.8648	18.1728 → 0.05944	✅
2	`MiniMaxAI/MiniMax-M3`	66540 → 66780	4.0731 → 2.0238	0.05944 → 0.01959	✅
3	`deepseek-ai/DeepSeek-V4-Flash-0731`	66780 → 67020	2.3649 → 1.9939	0.01959 → 0.00739	✅
4	`Qwen/Qwen3.6-35B-A3B`	67020 → 67260	2.1520 → 1.7496	0.00739 → 0.00608	✅
5	`Qwen/Qwen3.6-35B-A3B-FP8`	67260 → 67500	1.7298 → 1.5535	0.00608 → 0.00445	✅
6	`Qwen/Qwen3.6-27B`	67500 → 67620	1.4281 → 1.3112	0.00445 → 0.00422	✅
7	`Qwen/Qwen3.6-27B-FP8`	67620 → 67740	1.3496 → 1.2954	0.00422 → 0.00421	✅

[image]

Ham öğretim verileri, doğrulama raporları ve eğitim metrikleri frontier/<stage>/ altında; her geçen checkpoint checkpoints/ altında sürümlü olarak yayımlanır. norovox_alpha_sft.pt son geçen adayı gösterir.

FP8 depolarının ayrı inference endpoint'i bulunmadığından FP8 aşamaları, aynı temel Qwen açık ağırlığından farklı deterministik örneklemeyle üretilmiş bağımsız veri kümeleri kullanır; bu köken her kaydın usage metadatasında belirtilmiştir. Qwen yerel öğretmen çalıştırmalarında açık GGUF kuantları kullanılmıştır.

Mimari

NorovoxAlphaCore: RoPE + RMSNorm + SwiGLU + GQA + MTP (çok-token başlığı) + kimlik çıpası. Kaynak uygulama norovox_alpha_core.py dosyasındadır.

Kullanım

python

import torch
from huggingface_hub import hf_hub_download
from norovox_alpha_core import NorovoxAlphaCore, CoreConfig
from tokenizers import Tokenizer

repo = "emrevrg/Norovox-Alpha"
path = hf_hub_download(repo, "norovox_alpha_sft.pt")
ck = torch.load(path, map_location="cpu", weights_only=False)
cfg = CoreConfig(**ck["cfg"])
model = NorovoxAlphaCore(cfg)
model.load_state_dict(ck["model"], strict=True)
model.eval()
tokenizer = Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json"))
print("step", ck["step"], "parameters", sum(p.numel() for p in model.parameters()))

Sınırlar ve doğru yorumlama

—Yukarıdaki loss değerleri aşama içi sabit held-out set ölçümleridir; MMLU, HumanEval veya bağımsız bir standart benchmark değildir.
—Küçük değerlendirme seti tek başına genel yetenek veya frontier-model eşitliği kanıtlamaz.
—Model erken araştırma aşamasındadır; kritik kararlar için insan doğrulaması gerekir.
—Öğretmen yanıtları lisans ve kullanım koşulları gözetilerek denetlenmelidir.

Tanıtım: Norovox