Modelpublic

Harrysunshine/so101-smolvla-lora-sim-real-10task

sourceHugging Faceapache-2.0updated 20d agoView on Hugging Face

0likes28downloads

Model Card

SO-101 SmolVLA LoRA（仿真 + 真机混训，10 个任务）

在 lerobot/smolvla_base 上做 LoRA 微调，训练集是仿真与真机混成的一份：仿真三个抓放任务 1498 集 + 公开的 SO-101 真机遥操 9 个任务 2200 集 = 3698 集 / 128 万帧 / 10 个不同任务。两侧共有的 Pick up a cube 与 Pick up a can 指令文本逐字相同，落在同一个任务号下。

三个仿真场景各 50 局的验收

任务	成功率
`Pick up a cube and place in the bin`	94.0%（47/50）
`Pick up a small cube and place in the bin`	84.0%（42/50）
`Pick up a can and place in the bin`	98.0%（49/50）

同一份数据、同一套评测下，全参微调（403M 可训练参数）是 94.0 / 90.0 / 96.0%。 这份适配器只训 9,851,728 个参数（占全模型 460M 的 2.1%）。

挂在哪些层上

上游 SmolVLA 的默认 target_modules 只挂动作专家的 q/v 投影，换机器人本体时学不动 —— 照默认跑到 8000 步，三个评测点全 0.0%。基座里可挂 q/v 的一共三族，这份权重三族全挂：

位置	q/v 数
动作专家 `lm_expert`	32
文本塔 `vlm.model.text_model`	32
视觉塔 `vlm.model.vision_model`	48

r=64；state_proj / action_in_proj / action_out_proj / action_time_mlp_in|out 这五个具身投影走 full_training_modules 全量训练，不做低秩近似。

SO-101 SmolVLA LoRA（仿真 + 真机混训，10 个任务）

三个仿真场景各 50 局的验收

挂在哪些层上

相关