Modelpublic

lrmbbj/cl_0.8B_t0.07_q8_d256_nt16x16_fr4-16_do0.1_rc0.1_jt0.25_s42-1000step

sourceHugging Faceupdated 20d agoView on Hugging Face

0likes44downloads

Model Card

lrmbbj/cl0.8Bt0.07q8d256nt16x16fr4-16do0.1rc0.1jt0.25s42-1000step

MCE（Multimodal Context Encoder，VLM backbone + 连续预测头）的打包导出，自定义代码加载（trust_remote_code=True），部署端不依赖训练仓库。

—Backbone: Qwen/Qwen3.5-0.8B（权重已微调并内置于本 repo 的 safetensors 分片；仅 remote code 在加载时从基座 repo 获取）
—输入: 上下文模态子集（无需当前观测帧）
—Output shape: [256]
—训练启用的上下文模态: taskdescription, robotdemo

用法

python

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained(
    "lrmbbj/cl_0.8B_t0.07_q8_d256_nt16x16_fr4-16_do0.1_rc0.1_jt0.25_s42-1000step", trust_remote_code=True, dtype=torch.bfloat16
).eval().cuda()

# 纯上下文编码：任意上下文模态子集 -> 动态嵌入 [B, D]
z = model.encode_context(
    task_description="pick up the cube",   # 可选
    goal_image=None,                        # 可选，单帧图像
    robot_demo=demo_video,                  # 可选，[T,C,H,W] uint8/float
)

# 同时拿对比嵌入与原始 query token 隐状态：
out = model.encode_with_tokens(
    task_description="pick up the cube",
    robot_demo=demo_video,
)
out["embedding"]  # [B, D]，与 encode_context 一致（归一化的对比嵌入）
out["tokens"]     # [B, Q, H]，Q 个可学习 query token 的隐状态（未投影/池化）

部署依赖

—torch（>= 2.1）
—transformers：需能加载 Qwen/Qwen3.5-0.8B 的版本（以基座 repo config.json 里的 transformers_version 为下限；本 checkpoint 导出时使用的是 transformers 5.4，建议部署端保持一致或更新）
—omegaconf、pillow、numpy

图像输入支持 Tensor / numpy / PIL（uint8 [0,255] 或 float [0,1]），内部自动 resize 到训练时的 image_size。