VPP2 · INSTRUCTION & HISTORY

模型究竟在
跟随什么?

改变指令,或拿掉运动历史,预测会因此改变吗?
用同一观察下的视频与双臂轨迹,检查语言控制的边界。

查看实验对照 ↗
2 个模型4 个任务576 个独立预测设置
01 / 先看结论

明确区分:观察到的事实,与尚未验证的解释。

01

历史惯性不是充分解释

Drop2k 在 episode 第一个 chunk 交换单 L1 的左右臂,XYZ 变化仅 0.49 mm;中途完整历史为 0.42 mm。没有运动历史,也未出现明显的执行臂切换。

02

原始模型也有类似现象

Joint-100k 使用原生任务 prompt,“只用左臂”改成“只用右臂”,起点 XYZ 变化仅 0.22 mm。停止要求下仍保留 87.5% 的运动量。

03

历史会改变动作,仍未实现可靠控制

固定 L3+L1 原指令,将历史重复为当前帧,动作平均变化 16.84 mm;仅缩短历史为 1.60 mm。但停止与换臂仍不可靠。历史会影响预测,不能解释全部指令跟随问题。

结论范围4 个复用诊断任务、2 个种子、单 chunk 离线预测。不是闭环成功率评测,也不是模型能力的普遍结论。跨臂可达性、未见过的停止/冲突指令、合成历史均可能影响结果。
02 / INTERACTIVE EVIDENCE

把变化放在一起看

正在载入实验数据…

A

对照

实际输入 PROMPT
输入画面与历史帧来源A 组输入三视角画面
B

修改后

实际输入 PROMPT
输入画面与历史帧来源B 组输入三视角画面
0.00 / 1.28 s

动作预测 · 双臂轨迹

前 24 个动作,0.96 秒计划执行区间。

A 对照B 修改后
左臂 · 距初始位置 / mm
右臂 · 距初始位置 / mm
左夹爪 · 原生动作值
右夹爪 · 原生动作值
展开逐轴 XYZ 与末端姿态差异
左臂 XYZ / mm(红 X · 绿 Y · 蓝 Z;虚线 A / 实线 B)
右臂 XYZ / mm(红 X · 绿 Y · 蓝 Z;虚线 A / 实线 B)

包含原始 prompt、状态、32 × 16 动作与实际历史索引
03 / CONTEXT IS A CONDITION

四种历史,分别改变了什么?

MID · TRUE

中途完整历史

0−175…−25t

episode 首帧锚点 + 8 张真实历史帧,相邻采样间隔 25 步。当前 RGB 与机械臂状态均为真实记录。

两个模型均已测试
MID · REPEAT

历史重复当前帧

0tttt

保留首帧锚点,将其后 8 个位置都换成当前画面。当前状态不变,去掉历史运动变化;属于合成条件。

仅 Drop2k 已测试
MID · RECENT

只保留最近历史

00×6−25t

只提供 t−25 和 t,其余位置沿用原 policy 的回退逻辑填 episode 首帧。不新增 mask。

仅 Drop2k 已测试
EPISODE · ZERO

episode 第一个 chunk

00000

实际第 0 帧、初始状态和当时生效的标注,9 个图像位置均为首帧。没有运动历史,但仍有场景与状态信息。

两个模型均已测试
重要区别中途三种历史可固定当前观察比较。episode 起点与中途的画面和状态也不同,不能把它们的差异全部归因于历史长度。
已完成的对照Drop2kJoint-100k比较边界
起点 / 中途真实历史已完成已完成当前状态不同;不是同状态历史消融
重复当前帧 / 缩短历史已完成未测试不推断原始模型的合成历史表现
原生任务、修改任务、停止单 L3 子集原生 prompt跨模型模式仅使用逐字相同的 prompt
L1、L3+L1、三层与冲突已完成,覆盖不同未测试下拉菜单只展示真实存在的结果
04 / READ THE SETTINGS

实验设置与指标定义

下载分组统计 ↓

模型与推理

Drop2k
Joint-100k 初始化;视频 LoRA rank 128,action 全量;Dojo 单 chunk 微调 2,000 步。
语言 dropout
70% L3+L2+L1;10% L3+L1;10% L3+L2;10% L3。仅 L1 未在此采样配置中出现。
Joint-100k
原始配套 video / action 权重,未加载本次微调权重;直接走原生 task prompt 编码。
固定推理参数
video 一步预测;action 10 步去噪;sigma shift = 1;BF16;配对种子 1、17。
输入与输出
三视角 RGB,240×416 T 形拼接;9 张历史条件图像。未来视频 8 帧 / 1.28 s;动作 32×16,展示前 24 步 / 0.96 s。均为预测,未实际执行。
动作表示
双臂绝对 EE 位姿与夹爪,每臂 XYZ + quaternion(qwxyz) + gripper。图中 XYZ 使用毫米,夹爪保持原单位。

怎样读这些变化?

XYZ 差异 RMSE
两次预测前 24 步、双臂共 6 个 XYZ 坐标的均方根差,单位 mm。不是相对正确答案的误差。
运动量比 B/A
各臂相对初始位置的欧氏距离 RMS,双臂求和后取比。均值按每个任务与种子分别计算再平均;不代表速度比、路程比或成功率。
视频 RGB 差异
未压缩预测帧的像素平均绝对差(0–255),只对原实验中保存的配对关系展示。跨历史或跨模型没有该值时明确留空。
同输入重复
原实验中重复 prompt、观察和种子的输出差异为 0;换 seed 的变化在汇总数据中保留。
因果边界
修改文字引起变化不等于正确执行。停止与冲突可能偏离训练分布;左右臂交换可能受可达性影响。当前证据不能区分视觉、状态及训练关联的全部贡献。
数据完整性

三轮已完成实验共 672 次预测;合并 96 个完全重叠设置后,本页保留 576 个唯一设置(Drop2k 448,Joint-100k 128)。重复项经动作数值核对;每个视频与 setting 一一对应。未包含仍在独立分析的本体状态扰动实验。

任务:build_tower / episode 163;fold_clothes / 917;classify_objects / 251;fasten_screws / 604。中途起点分别为 528 / 189 / 175 / 175;起点实验为 0。

下载页面实验数据(含源分析文件 SHA-256) ↓