Modelpublic

LLM-OS-Models2/gdn2-1.3b-paper-matched

sourceHugging Faceapache-2.0updated 2mo agoView on Hugging Face

2likes

Model Card

GDN-2 1.3B — paper-matched pretrain (LIVE)

FineWeb-Edu로 GDN-2 1.3B를 paper recipe 그대로 학습한 체크포인트 시리즈. 5B 토큰부터 100B 토큰까지 5B 간격으로 저장됨. 현재 LIVE training 중 (완료 예상: 2026-07-19 일요일 오후).

레포 구조

모든 checkpoint가 같은 repo에 model-{N}b.pth 형태로 정리됨:

파일	학습 토큰	val_loss	비고
`model-5b.pth`	5B	(참조)	가장 초기
`model-10b.pth`	10B	(참조)	—
`model-15b.pth`	15B	(참조)	—
`model-20b.pth`	20B	(참조)	—
`model-25b.pth`	25B	(참조)	—
`model-30b.pth`	30B	(참조)	—
`model-35b.pth`	35B	(참조)	—
`model-40b.pth`	40B	2.053 mean	step 88K, NEW ALL-TIME LOW
`model-45b.pth` ~ `model-100b.pth`	—	—	LIVE training 완료 후 추가

각 파일은 단일 model.pth (17.4GB) — litgpt format.

학습 셋업 (paper-matched)

—백본: GDN-2 1.3B (config: tsz128x4k_100B)
—데이터: FineWeb-Edu (sample 10M, seed 1337 + 1B warmup)
—batch_size: 0.5M tokens = 128 seqs × 4096 tokens
—Learning rate: 4e-4, cosine decay
—warmup: 1B tokens (2K steps)
—target: 100B tokens (200K steps)
—GPU: 8× H200 DDP
—throughput: 34.46K tokens/s/GPU (275K tokens/s/step)
—러처: dsc/scripts/pretrain_gdn2_1.3B_paper_matched.sh

val_loss 궤적 (2026-07-17 기준)

step  val_loss(mean)  비고
8K    2.114
16K   2.138
24K   2.110
32K   2.123
40K   2.081
48K   2.087
56K   2.057          previous low
64K   2.081
72K   2.057          tied
80K   2.057          tied
88K   2.053          NEW ALL-TIME LOW

사용법 (litgpt)

python

from lit_gpt import GPT
# 특정 step 로드
model = GPT.from_pretrained(
    "LLM-OS-Models2/gdn2-1.3b-paper-matched",
    checkpoint_file="model-40b.pth",
)

평가 결과

RULER / LongBench / BABILong / InfiniteBench 결과는 `GDN2_RULER_STANDARD_RESULTS_KO.md` 참조 (training 완료 후 평가 예정).

인용 / 재현

—코드: https://github.com/gyunggyung/LLM-OS-Models (long-gdn/dsc/)
—런처: dsc/scripts/pretrain_gdn2_1.3B_paper_matched.sh
—학습 로그: dsc/runs/logs/gdn2_1.3B_fineweb_edu_100bt_paper_matched_20260715T033419Z.log

라이센스

Apache 2.0. FineWeb-Edu dataset은 원본 license 따름.