livadies/MiniMax-M2.7-Ghetto-MoE-8-Experts

🩸 MiniMax-M2.7 (229B) -> Ghetto-MoE Edition (8 Experts)

[EN] ⚠️ INFRASTRUCTURE STRESS-TEST KIT

This is a mathematical skeleton (1B parameters) of the giant MiniMax-M2.7 architecture. Created specifically for MLOps engineers to test inference pipelines and routing logic.

Technical Highlights:

• —8-Expert MoE: Preserved routing logic for Sparse Mixture-of-Experts.
• —RoPE Fixed: Forced linear rotary embeddings to bypass 'default' KeyError.
• —8:8 GQA: Symmetrical attention heads for consumer-grade GPU support.

[RU] ⚠️ ИНСТРУМЕНТ ДЛЯ ТЕСТИРОВАНИЯ ИНФРАСТРУКТУРЫ

Это математический скелет (1 млрд параметров) гигантской модели MiniMax-M2.7. Создан для отладки инференса и логики роутинга на обычном железе.

Особенности взлома:

• —8 Экспертов: Сохранена логика переключения экспертов (routing).
• —RoPE Patch: Исправлен баг инициализации через принудительный тип linear.
• —Симметрия GQA: Пропорция голов 8:8 для стабильной работы на старых GPU.

🎧 PROMO DIRECTIVE: RUSSIAN WINTER 26

Слушайте музыку будущего, под которую взламывался этот код:

• —🔴 YouTube Music: livadies (Search)
• —🟢 Spotify: livadies on Spotify
• —🟡 Yandex Music: livadies на Яндекс Музыке

🔥 Главный трек кванта: «RUSSIAN WINTER 26»