Modelpublic

gigascake/Ornith-1.0-397B-FP8-KoreanCoding-Expert192

sourceHugging Facemitupdated 3mo agoView on Hugging Face

0likes12downloads

Model Card

Ornith-1.0-397B-FP8-KoreanCoding-Expert192

한국어+코딩 집중 구조적 전문가 가지치기 모델. VLM(이미지 인식) 전문가를 제외하고 192 슬롯을 언어(Korean/Japanese/Chinese) + 코딩에 집중 할당. 한국어 전문가 gate.weight 1.15× 부스트로 라우팅 확률 보정.

핵심 변경 (vs 이전 MultiDomain-Expert192)

항목	이전 (MultiDomain)	이 모델 (KoreanCoding)
한국어 전문가/layer	~24 (가중치 조합)	~52 (경량 할당)
코딩 전문가/layer	~25 (가중치 조합)	100 (경량 할당)
VLM 전문가	포함 (76% 보존)	제외 (언어+코딩에 재할당)
한국어 라우터 부스트	없음	gate.weight × 1.15
할당 방식	가중 결합 (soft)	카테고리별 경량 (hard)

전문가 할당 (레이어당 192)

카테고리	할당	보호 방식
🇰🇷 한국어	top-50 (hard)	gate.weight ×1.15 부스트
🇯🇵 일본어	top-20 (hard)	한국어와 공유 시 부스트
💻 코딩	top-100 (hard)	SWE-bench/HumanEval 보존
🇨🇳 중국어	top-20 (hard)	중국어 생성 보존
🌐 일반	~22 (weight_norm)	영어/기본 추론
🖼️ VLM	제외	Image-to-Text 불가

Usage

bash

python3 -m sglang.launch_server \
    --model-path /path/to/Ornith-1.0-397B-FP8-KoreanCoding-Expert192 \
    --tp 2 --trust-remote-code \
    --reasoning-parser qwen3 --tool-call-parser qwen3_coder \
    --max-model-len 262144 --chunked-prefill-size 8192 \
    --mem-fraction-static 0.88 \
    --host 0.0.0.0 --port 30000

VRAM (2× RTX PRO 6000, 192GB)

구분	용량
가중치 (192 experts FP8)	~152 GB
런타임	~13 GB
KV-Cache	~27 GB (256K × 7 동시)

Spec

—512→192 experts (62.5%), 6×32 정렬
—Qwen3.5 MoE, Top-10 + 1 Shared, hybrid GDN+GQA
—60 layers, 4096 hidden, 262144 context
—FP8 compressed-tensors (원본 보존, 재양자화 없음)
—VLM 미지원 (이미지 입력 불가, 텍스트 전용)

License

MIT (inherited from Ornith-1.0-397B)