smllms/HyperCLOVA-X-SEED-MISHULTA-v2

HyperCLOVA-X-SEED-MISHULTA-v2

K-DATA SCIENCE 해커톤 제출 모델 · 팀 MISHULTA

naver-hyperclovax/HyperCLOVAX-SEED-Think-14B(국내 기업 개발 모델, 14.8B)를 한국어 객관식 추론 과제에 맞춰 LoRA로 미세조정한 뒤 병합한 모델입니다. v1과는 다른 어댑터로 학습한 별도 계열입니다.

Teacher 모델 출처 및 이용 조건

본 모델은 Upstage Solar Pro 4를 teacher 모델로 사용하여 학습 데이터(CoT)를 생성하였으며, 해당 활용은 비상업·해커톤 목적에 한하여 업스테이지의 별도 확인(컨펌)을 거쳐 진행되었습니다.

현 Upstage 이용약관상 Solar 결과물을 활용한 distillation은 원칙적으로 허용되지 않으며, 본 건은 예외적으로 확인을 받은 사례입니다. 따라서 본 모델카드를 근거로 Solar 기반 distillation이 일반적으로 허용된다고 해석해서는 안 됩니다.

Solar 관련 조건은 Solar Open 2 라이선스를 따릅니다.

학습 데이터

모두 공개 데이터 또는 자체 생성 데이터이며, 평가용 test 스플릿은 사용하지 않았습니다.

평가 대상 벤치마크와의 문항 중복은 사전 대조를 통해 제거했습니다.

사용법

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "smllms/HyperCLOVA-X-SEED-MISHULTA-v2"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "다음 문제의 정답을 고르시오. ..."}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, do_sample=False, stop_strings=["<|endofturn|>", "<|stop|>"], tokenizer=tok)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

정답은 출력 마지막의 정답: X 형식으로 제시됩니다.

라이선스

베이스 모델의 HyperCLOVA X SEED Model License Agreement를 따릅니다. 라이선스 §3.1에 따라 파생 모델명은 "HyperCLOVA X"로 시작합니다.

팀

MISHULTA — 미술전시 큐레이션 서비스 운영팀. K-DS 해커톤(NIA) 참가.