junghwannkim/mistral-7b-arc-submission-c9fedb647123

Mistral-7B ARC submission — V3-D75-R-s43

학습 조건

• —Base revision: 27d67f1b5f57dc0953326b2601d68371d40ea8da
• —ARC-Easy train 1,500 + OpenBookQA train 500, 합성 데이터 0.
• —표본 해시: 71d9fd3b78d07030be343beb33dc4eda469b01d979c2212a009990bcfeb842b5
• —BF16 LoRA: r=16, alpha=32, dropout=0.05; FP16 base에 병합하여 저장.
• —250 optimizer steps, micro batch=1, gradient accumulation=16, LR=5e-5, cosine, warmup_steps=7.
• —seed=43, data_seed=42. 정답 토큰 CE + 0.1 × 보기 순위 CE, temperature=0.1.
• —입력: Question: ... / Answer: ...; 추가 BOS/EOS 없음.

이번 실행의 평가 결과

ARC-Challenge test 1,172개, 25-shot, harness 6d2abda4fd171e68a8789330c4149e37c1ca0bda.

기존 탐색에서 test 성능을 모델 선택에 사용했습니다. 이 결과를 독립적인 미관측 test 추정치로 해석하지 않습니다. 학습 전반과 실제 평가는 제출 노트북으로 재현합니다. 세부 설정은 reproducibility/ 폴더에 있습니다.

원천 데이터

AI2 ARC, OpenBookQA. 일반 대화 품질이나 추론 능력 전반을 별도로 검증한 모델은 아닙니다.