CoolFace
Modelpublic

zhongweixie/claw-rl-v13-gdpo

sourceHugging Faceapache-2.0updated 15d agoView on Hugging Face
0likes20downloads
Model Card

qwen3vl-8b-claw-rl-gdpo-v13-iter560

在内部 agent 任务集上做 RL 微调得到的 Qwen3-VL-8B 模型。

这不是 Qwen3-VL-8B-Instruct 本身,上游那份模型卡里的任何跑分都不适用于本模型。 本仓此前误挂了上游 Qwen 的模型卡,现已更正。

训练配置

实验名exp_rl_v5_v13_gdpo
算法GDPO
变体冷启动基线。无 rubric overlay,无 dim scoring。
起点原始 Qwen3-VL-8B-Instruct(冷启动,非 SFT checkpoint)
最终 checkpointiter_0000560
训练量561 个 rollout step,约 3 个 epoch,187 条 prompt
samples / prompt8
rollout batch1
global batch8
硬件8xH800,TP=8,colocate
奖励 judgeqwen/qwen-2.5-72b-instruct (OpenRouter)

学习率、KL 系数等由 slime 的 formal profile 提供,未在启动脚本中显式设置, 故此处不列出,以免给出未经核实的数值。

与同期 5 个 *_stage3 模型的区别:那些以 stage3 SFT checkpoint (exp_stage3_v2_merged) 为起点,本模型是从原始 instruct 冷启动的。

评测状态

目前没有可信的 held-out 评测数字。 不要把本模型当作已验证优于其起点。

原因:

  • cold-start 基线作业(373736)因 sglang JIT 缺 ninja 未能启动,缺少可比基线。
  • held-out 驱动脚本会主动拒绝一部分任务(沙箱快照类、多模态输入类), 覆盖率不足 30 题全集,其总分不能当作全集分数引用。

用法

python
from transformers import Qwen3VLForConditionalGeneration, AutoProcessor

model = Qwen3VLForConditionalGeneration.from_pretrained(
    "zhongweixie/qwen3vl-8b-claw-rl-gdpo-v13-iter560", dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained("zhongweixie/qwen3vl-8b-claw-rl-gdpo-v13-iter560")

来源

slime/tools/convert_torch_dist_to_hf.py 从 Megatron 分布式 checkpoint /aifs4su/hansirui_3rd/rl-checkpoints/exp_rl_v5_v13_gdpo/iter_0000560 转换而来,缺失权重与 tokenizer/config 取自原始 Qwen3-VL-8B-Instruct。