v0 · 完整正文
研究综述
研究边界
本备忘录考察 2026 年 1 月 19 日至 7 月 19 日的具身 VLA 研究,问题不是“哪个模型的单项分数最高”,而是哪种技术变化最可能改写未来的系统形态。本轮纳入 27 篇通过完整全文阅读和主张核验的论文,覆盖 VLA、世界模型、4D/几何表征、动作接口、失败恢复与闭环评测。这些证据足以识别趋势和机制,但不足以声称已解决通用家庭机器人、多本体迁移或安全部署。
中心判断
近半年 VLA 最大的技术突破,不是更大的 VLM 骨干、更精细的 action tokenizer,也不是单纯把视频生成器接到策略前面;而是 VLA 开始从“看到当前画面就直接输出动作”,转向“提出动作、表示关键后果、校验可执行性、再闭环执行与纠错”。更准确地说,突破是一个“VLA 语义/动作先验 + 结构化或世界模型后果预演 + 本体控制器”的融合栈。
这一判断是跨论文推断,不是某篇论文的口号。它可被反驳:如果在相同数据、计算和真机试验预算下,反应式 VLA 在长时程、扰动恢复和未见场景中与带后果预演的系统无显著差异,或者世界模型无法提高真实结果排序和闭环成功率,那么这个范式转移就不成立。
突破一:世界模型不再追求“更长的视频”,而是预测“更少但更可执行的中间状态”
早期的直觉是:只要生成足够逼真的未来视频,机器人就能“先想后做”。问题是,像素中大量信息对动作没有价值,长视频还会积累几何和接触误差。近期方法的关键转变,是把未来压缩成任务进度真正需要的状态。
StructVLA 从夹爪开合和末端运动转折点中抽取稀疏“结构化帧”,先学习这些物理里程碑,再将其迁移到低层动作生成。其 LIBERO 平均成功率为 94.8%;在 Franka 实机长时程 tidy-up 中完成 8/10,对照 UniVLA 为 4/10。这个结果的价值不在于某个榜单提升,而在于它表明:后果表征一旦与运动阶段对齐,长历史反而能帮助策略,而不只是引入更多噪声。
H-WM 走了另一条路:高层用符号逻辑保持任务顺序,低层用潜在视觉子目标提供感知 grounding,再由 VLA 高频执行。在五个 5–7 步 LIBERO-LoHo 任务上,双层引导的平均成功率为 64.8%,比仅逻辑引导高 16.4 个百分点,也高于像素级生成子目标。两篇论文的共识是:一个好的“未来”不必是完整视频,它应当是可验证的进度、几何或逻辑状态。
与此相呼应,Pri4R 和 GEM-4D 把 4D 点轨迹或几何特征作为训练期的特权教师/蒸馏目标,试图保留物体身份、跨帧对应和动作相关动态,同时避免部署时为显式几何支付过高延迟。这进一步说明,本轮进展的实质是从“视觉上像未来”转向“在几何和动作上是未来”。
突破二:训练目标从模仿成功轨迹,转向预演失败与学习恢复
反应式 VLA 通常从成功示教中学习“这时候专家会怎么动”。这使它在离线评测上看起来不错,却不知道偏离示教走廊后如何回来。世界模型真正改变的是训练问题:不再只预测专家动作,而是在模型内部制造候选未来、找到容易失败的状态,并把纠正轨迹加回后训练。
Hi-WM 让人在世界模型 rollout 中介入,在错误或高风险状态处分支并采集纠正轨迹;ReCoVLA 把恢复拆成认知层的失败类型/恢复阶段判断,以及控制层的 residual 纠正。对接触任务,纯视觉未来仍然缺少力学信息:TACO 和 Dream-Tac 把未来视觉、力/触觉与动作联合建模,再用想象的失败附近片段做 VLA 后训练。
这类方法的判别标准不应是“生成的视频多逼真”,而是在相同真机数据和计算预算下,是否提高扰动后恢复率、减少人工接管、降低失败成本。如果没有真实恢复数据或目标机器人锚定,想象轨迹也可能只是漂亮的离线扩增。
突破三:评测从“未来看起来合理”转向“未来与动作是否同步”
世界模型一旦进入决策环,评测就不能再停留在视频清晰度。WEAVER 将可用世界模型概括为三个同时条件:对真实结果的保真、长时程一致和足够低的计算代价;MiraBench 进一步要求 action-following fidelity、物理遵循和失败过度乐观检测。换句话说,世界模型取得“规划权”之前,必须证明它对候选动作的排序与真实闭环结果相关。
最强的反证来自 BadWAM。在完整 LIBERO 闭环扫描中,它的黑盒动作攻击将高成功率 WAM 从 96.5% 降到 43.1%。更值得警惕的是,攻击可以让预测未来仍接近干净预测,同时把真正执行的 action chunk 推向失败。因此,“模型想象的画面没问题”不能作为安全通行证;系统必须检查想象、动作、控制器响应和真实观测之间的闭环同步。
为什么不能简化为“世界模型替代 VLA”
第一,VLA 仍然是把语言任务、视觉状态和动作先验连接起来的核心。世界模型擅长表示“做了什么会发生什么”,却不会自动解决本体、坐标系、控制频率和接触负载不一致。SPACE 表明同一条记录命令在不同控制器、硬件单元和部署动力学下可能对应不同运动。ERVLA 也显示,有价值的具身推理必须落到末端运动或图像空间轨迹;纯文本推理前缀可能只会增加延迟和误差累积。
第二,世界模型还没有通过广泛真机的 admissibility 验收。当前大部分强结果仍来自 LIBERO、SimplerEnv 或少量桌面夹爪任务。H-WM 要求任务能被符号化,StructVLA 的里程碑主要依赖夹爪转换和末端速度,BadWAM 证明了安全攻击面而不是真实攻击发生率。这些都不支持把单一世界模型直接当作上线裁决器。
对研发的可操作框架
| 系统层 | 应该学什么 | 最小验收问题 |
|---|---|---|
| VLA/语义层 | 任务、子目标、动作先验 | 更换指令或任务阶段后,动作是否相应改变? |
| 后果预演层 | 关键进度、几何、接触与失败后果 | 能否拒绝不可执行未来,并正确排序候选动作? |
| 动作适配层 | 共享状态变化到本体命令的映射 | 坐标系、频率、延迟和接触负载改变时是否仍可执行? |
| 底层控制/恢复层 | 跟踪、力控、residual 纠正 | 扰动后能否在安全范围内重建接触并回到任务轨迹? |
真正有判别力的实验,应该在相同数据、动作候选、控制器和计算预算下,直接对比有无后果预演层;除了成功率,还应记录恢复率、过力/碰撞、人工接管、候选排序与真实结果的相关性、以及 rollout 延迟。
研究空白与下一步
第一,需要在统一预算下直接比较纯文本 CoT、潜在规划、结构化帧、显式 4D 和视频 rollout,而不是各自使用不同基础模型和数据。第二,需要从夹爪桌面操作扩展到灵巧手、可变形物、移动操作和长时运行,纳入力/触觉、不可逆接触窗口与失败恢复。第三,安全评测必须从单独的未来质量扩展到“未来—动作—控制—真实观测”同步性,并在真机上验证误报和恢复代价。
结论
如果必须用一句话概括:近半年 VLA 最大的技术突破,是它开始拥有“先表示可执行后果,再用闭环证据校正动作”的系统接口。这不意味着 VLA 被世界模型取代,而是意味着反应式 VLA 被降格为融合栈中的语义和动作先验模块。当前证据已足以说明这是最重要的方向变化;但只有当后果预演通过动作忠实、真实结果排序、延迟和安全同步性验收时,它才能被称为成熟的部署突破。
References
- H-WM: Robotic Task and Motion Planning Guided by Hierarchical World Model
- Beyond Dense Futures: World Models as Structured Planners for Robotic Manipulation
- Pri4R: Learning World Dynamics for Vision-Language-Action Models with Privileged 4D Representation
- GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation
- Hi-WM: Human-in-the-World-Model for Scalable Robot Post-Training
- ReCoVLA: VLM-Guided Reward Compilation for Failure Recovery in Vision-Language-Action Policies
- TACO: TActile World Model as a Self-COrrector for Scalable VLA Post-Training
- Dream-Tac: A Unified Tactile World Action Model for Contact-Rich Robot Manipulation
- WEAVER: Better, Faster, Longer
- MiraBench: Evaluating Action-Conditioned Reliability in Robotic World Models
- BadWAM: When World-Action Models Dream Right but Act Wrong
- SPACE: Enabling Learning from Cross-Robot Data Toward Generalist Policies
- Revisiting Embodied Chain-of-Thought for Generalizable Robot Manipulation