Baekpica/Solar-Open2-120B-A15B-REAM-148E-Healing-Mix

Solar-Open2-120B-A15B-REAM-148E Healing Mix Baekpica/Solar-Open2-120B-A15B-REAM-148E-BF16 의 REAM 병합 손상을 복구하기 위한 비공개 결정론적 힐링 믹스입니다. 모든 시퀀스는 Solar Open 2 chat template로 사전 렌더·토크나이즈되어 있고 assistant 턴에만 loss 마스크가 열려 있습니다. 왜 만들었나 계보는 upstage/Solar-Open2-250B → REAP(184E) → REAM(148E) 입니다. REAM 이후 고정 프롬프트 A/B 관찰에서 다음이 확인됐습니다. 한국어 응답에서 반복 붕괴 (예: 동일 3-gram이 출력의 88.6% 차지) 지시 준수·포맷 이탈, typo 도메인·언어에 따라 편차가 큰 열화 (일부 프롬프트는 정상) 손상은 라우터(184→148 centroid slice)와 병합된 expert 가중치에… See the full description on the dataset page: https://huggingface.co/datasets/Baekpica/Solar-Open2-120B-A15B-REAM-148E-Healing-Mix.