slippedJim/ATOM_regen_nv_OpenCodeInstruct

ATOM regen: OpenCodeInstruct responses by Kimi-K3 用 Kimi-K3 对 nvidia/OpenCodeInstruct 的 prompt 重新生成了一遍回答，供 off-policy 投机解码蒸馏（SDDD）使用。 窗口 32768。 为什么是代码，为什么是这个数据集 训练一个 5 层 DSpark draft 的过程里，代码一直是最薄的一片：主语料去重之后 code 只剩 23,083 行唯一 prompt（17.5 万行里平均一题 5.6 个回答，17.9% 是物理 上限），占整个语料的 **0.43%**。对应的后果是 SWE-bench Pro 成为第二弱的 benchmark —— 只有同机官方 draft 的 **84.9%**。 把代码占比从 0.43% 提到 **20%**（主要靠这份数据）之后，SWE-bench Pro 到了 **100.6%**，是 13 套 benchmark 里相对提升最大的一套。 这份数据还顺带解决另一件事：长 prompt… See the full description on the dataset page: https://huggingface.co/datasets/slippedJim/ATOM_regen_nv_OpenCodeInstruct.