prompt-distillation
generalize_prompt_distillation_Qwen3-4B-Instruct-2507-AE
Distillation Category Dataset
chlwnstj/Qwen3-4B-Instruct2507-AE-recon 모델이 teacher 역할로 생성한
KD(Knowledge Distillation) 학습용 데이터셋. 서로 다른 4개 태스크(subset)로
구성되어 있으며, 압축 토큰(prompt compression)의 태스크 일반화 성능을 검증하기 위한 데이터셋
생성에 사용된 모델
Teacher 모델: chlwnstj/Qwen3-4B-Instruct2507-AE-recon
Splits (subset)
split
설명
원본 데이터셋
gsm8k
단계별 수학 문제 풀이 (Step 1: ... Answer: X 형식). 정답이 실제로 맞는 샘플만 필터링됨
openai/gsm8k (main) + meta-math/MetaMathQA (GSM8K 계열만)
summarize… See the full description on the dataset page: https://huggingface.co/datasets/chlwnstj/generalize_prompt_distillation_Qwen3-4B-Instruct-2507-AE.Qwen3-4B-Instruct-2507-gsm8k-alpaca-dolly-chatTemplate-distillation8000_v2_SYSTEM-PROMPT