Modelpublic

teawhite/ActionRoPE

sourceHugging Faceotherupdated 5d agoView on Hugging Face

0likes2.6kdownloads

Model Card

ActionRoPE（动作走 RoPE 的 Wan2.2-TI2V-5B 世界模型）

《恶意不息》2.5D 俯视角漫游数据（teawhite/EYBX-processed）上训练：动作不走文本，写进每帧 token 的 RoPE 世界坐标； known/new 支持掩码；文本只含场景。零新增参数（mask 通道 conv 15,360 参数可关）。

路径	内容
`DISTILL_HANDOFF.md`	从零搭环境、拉数据、加载权重、前向/训练/评测接口（先读这个）
`code/`	训练 / 推理 / 评测 / baseline 代码（`actionrope/`、`baseline/`、`configs/`、`scripts/`、`tests/`、项目 README、`requirements.txt`）
`checkpoints/arope_10k_ga2/step-10000.safetensors`	当前最好的权重（10 GB，只含 DiT + `arope_mask_embedding.*`）+ `config.json` + 训练/验证日志
`data/arope_sidecar.pt`	22,782 个 clip 的逐 cell 相机偏移（训练必需，32 MB）
`data/text_table_actionrope.pt`	只含场景的 UMT5 文本表（361 键，1.5 GB）
`data/text_table_eybx_mirror.pt`	动作词翻回真实方向的 UMT5 文本表（plain/prompt 对照臂用，7.5 GB）
`data/gain_fit_y112.json`	相机增益校准结果（重建 sidecar 用）
`data/eval/eybx_bg_50/`	50 个未见背景（bg50 四科评测）

训练配方：8×H200、DeepSpeed ZeRO-2、bf16、每卡 batch 1 × 梯度累积 2、lr 1e-5、10k 步（5k + 续训 5k）。 bg50 四科（1×）@5k：增益斜率 0.94、折返 PSNR 19.1 dB、倒退帧 9/50 景、方向误差中位 0.76°、失控 0。