emrevrg/Norovox-Alpha-MoE-3.9B

🧠 Norovox Alpha MoE 3.9B

Ozgun NorovoxAlphaCore mimarisinin buyuk Mixture-of-Experts surumu — 64 uzman, top-2 yonlendirme.

Gelismis mimari ozellikler (hepsi Norovox'a ozgu)

• —RoPE konumsal kodlama + RMSNorm + SwiGLU aktivasyon
• —GQA (grouped-query attention) — verimli uzun baglam
• —MTP (coklu-token tahmin) baslliklari — reasoning-odakli tahmin
• —MoE router (64 uzman, top-2) — dinamik uzman yonlendirme
• —identity_anchor — Norovox kimlik cipasi

Reasoning-odakli kurulum

Model chat_template.jinja + system_prompt.txt ile adim-adim dusunme (<think>...</think>) formatina hazir gelir; Norovox kimligiyle konusur.

Not: MoE uzmanlari fonksiyon-koruyan baslatilir; ek MoE egitimiyle uzmanlasir. 3.9B parametreye olceklenmis, reasoning-odakli ozgun bir temeldir.

Lisans: Apache-2.0.

_{Tokenizer: Qwen2.5-uyumlu sozluk, Apache-2.0 (lisans geregi atif).}