VIDraft/Darwin-28B-KOREA

Darwin-28B-KOREA

한국어/영어 이중언어 추론에 최적화된 28B 파라미터 모델

VIDRAFT Darwin 시리즈의 PERFECT 부모 페어 머지 1호. 두 부모 모델의 가중치를 per-layer 동적 비율로 결합하여, 부모 어느 한쪽보다도 우수하지 않은 부분 없이 모든 영역에서 동등 이상의 성능을 달성.

부모 모델 (PERFECT Pair)

부모 페어 호환성: hidden=5120, intermediate=17408, layers=64 (완전 일치 PERFECT pair).

머지 방식

• —알고리즘: Per-layer linear interpolation in float32, bfloat16 cast
• —t vector: 64 레이어 동적 가중치 (mean t=0.513)
• —Golden Reasoning Layer (L47): t=0.90 (Mother dominant)
• —Output Router (L63): t=0.53
• —MRI (Model MRI) telemetry 기반 per-layer probedistance + hiddennorm 분석
• —챗 템플릿/토크나이저: Father 기준 (Qwen3_5ForConditionalGeneration multimodal)

평가 결과 (35-sample 3-way bench, max_tokens=5120)

Win/Loss 분석:

• —Father vs Child: 0:0 동률
• —Mother vs Child: 0:0 동률
• —→ 자식이 두 부모와 완전 동급, 어느 한쪽보다 약한 영역 없음

Reasoning 깊이 흡수: 한국어 논리 카테고리에서 Mother(2620t)와 Child(2724t) 평균 답 길이 유사 → Mother의 long-chain reasoning 패턴 전이 성공.

사용 권장

• —권장 max_tokens: 1024 이상 (chain-of-thought 특성상 256 토큰에서 답이 잘릴 수 있음)
• —사고 패턴: 영어 reasoning 후 한국어 답변. 답만 정확하면 OK인 경우 권장.
• —순수 한국어 reasoning 원하면: 부모 Rogue-28B-MIX 단독 사용 추천.

Quick Start

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "VIDraft/Darwin-28B-KOREA",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
tok = AutoTokenizer.from_pretrained("VIDraft/Darwin-28B-KOREA", trust_remote_code=True)

msgs = [{"role": "user", "content": "대한민국 헌법 제10조의 핵심 내용을 한 문장으로 요약."}]
inputs = tok.apply_chat_template(msgs, return_tensors="pt", add_generation_prompt=True).to(model.device)
out = model.generate(inputs, max_new_tokens=1024, do_sample=False, pad_token_id=tok.eos_token_id)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

License

Apache 2.0 (부모 모델 상속).

Citation / Acknowledgment

VIDRAFT Darwin Family — Evolutionary Model Merge Research. Pair: Darwin-28B-Opus × Rogue-28B-MIX → Darwin-28B-KOREA (PERFECT pair, 2026-05-14)

Built with the Darwin Factory pipeline. 16 customer orders bridged by single base model.