v0 · 完整正文
研究综述
研究边界
本文关注 2025 年 7 月 20 日至 2026 年 7 月 20 日间,触觉、力/力矩、视觉、语言及本体状态如何共同进入具身机器人训练,而不是泛泛盘点传感器或模型名称。检索共得到 1,789 篇候选论文,其中 247 篇具有可读的完整非 OCR 全文;本文的判断建立在 42 篇完成全文精读与主张核验的论文上。论文以机器人操作、灵巧手和全身操作为主,许多仍是近期预印本,因此不能把局部真机结果直接外推成通用规律。一篇 2026 年 7 月 16 日的最新候选论文因本次无法稳定恢复完整文本,未被用作论据。
中心判断
近一年的关键变化并不是“VLA 又多接了触觉和力觉”,而是训练系统开始按物理功能、时间尺度和可执行接口重新分工:语言提供低频任务约束,视觉提供全局语义与几何,触觉描述局部接触分布,腕部力/力矩给出低维但高频的整体载荷,本体状态与动作则把这些观测放进同一条因果时间轴。训练目标也由“给定多模态观测预测下一段动作”,转向“预测动作将造成的视觉—接触后果、在失败附近学习纠正,并让不同频率的模块闭环协作”。
本文进一步推断:新的共享接口正在从抽象的统一特征空间,转向“动作条件下的状态变化”。这个判断可被证伪——如果在相同数据、算力与真机预算下,简单输入拼接能在跨本体、长时程和接触扰动任务中稳定追平分层预测式系统,那么分层接口并非必要。
一、数据单位变了:从对齐帧,变成可追踪的接触事件
早期多模态模仿学习容易把问题写成同步采样:图像、触觉、关节状态和动作在同一时间戳出现,就可以送进 Transformer。近一年论文显示,同步仍是底线,却已不是充分条件。Visuo-Tactile World Models 将腕部位姿、关节位置、外部视觉与双指尖触觉视频对齐并降采样训练;HapTile 进一步检查空轨迹、损坏轨迹、时间戳缺口和动作—状态一致性。数据单位由“帧”扩展为 approach、contact、slip、release、near-miss、recovery 等带阶段语义的事件。
这改变了数据配方。接触丰富任务不能只收成功演示,还要采集失去接触后的重建过程。TacForeSight 明确区分 nominal demonstration 与 recovery interaction;TAMEn 则用高精度动捕模式和便携 VR 模式平衡轨迹质量、环境多样性与人在环恢复。多模态数据质量因此不再是“传感器越全越好”,而是当前动作阶段需要的隐变量是否可观测、时序是否可信、失败是否能回放。
人类第一视角视频的规模收益也要在这个边界内理解。EgoScale 在其测量区间内观察到 1K 到 20K 小时预训练带来的真实机器人任务完成度提升,但最佳结果仍需要少量精确的人机对齐中间训练。原因是视频能扩展物体、场景、语言和粗运动先验,却天然缺少夹爪状态、接触载荷与控制器语义;ObjRetarget 的结果也说明,自由空间的姿态相似不能替代接触几何。
二、融合方式变了:从“同层拼接”到“有方向的选择性耦合”
触觉、视觉和语言并不只是在维数上不同。语言是稀疏任务级信号,视觉是稠密全局观测,触觉是局部且事件驱动的接触场,力/力矩则是全局受力的低维高频读数。把它们无约束地放进同一注意力层,可能让稀疏物理信号破坏原本稳定的视觉动力学。
ContactWorld 在 12 类接触任务上的系统比较表明,决定规划效果的不是模态数量,而是空间结构、时间连续性和跨模态表示兼容性;点云与触觉力场的组合优于单纯腕部或前视图像。Tactile-WAM 更直接报告了“tactile pollution”:无约束触觉 token 会同时拖累视频和动作预测。其非对称注意力让视觉查询看不到触觉键值,却允许动作查询在接触变化时读取触觉,体现出新的设计原则——物理模态应约束动作,不必反向污染所有表征。
由此形成三种常见接口:一是把触觉接触投影到图像域,强化空间对齐;二是用 contact gate 或非对称注意力,只在接触阶段激活触觉;三是把不同频率拆层。AT-VLA 将低频视觉—语言理解与高频触觉反应分离,TouchWorld 则把语言子任务规划、触觉未来预测、名义动作生成和高频触觉残差纠正分成不同环路。多模态模型正在从“一个大模型吞下所有输入”,转向“共享任务目标、保留模态专长”。
三、监督目标变了:从动作模仿到后果预测与自我纠正
行为克隆学习的是“人在这个观测下做了什么”,却不保证模型理解“这个动作会造成什么接触后果”。世界动作模型试图补上这一步。Dream-Tac 联合生成未来视觉、未来触觉和动作 chunk;TacForeSight 用腕部六维力/力矩作为先行条件,在紧凑潜空间预测短时触觉变化。这类目标把力觉从被动告警信号变成未来接触的条件变量,把触觉从当前状态描述变成动作后果监督。
预测还开始进入后训练和推理。Inference-time Policy Steering via Vision and Touch 用视觉—触觉世界模型在推理期检查候选动作;TACO 从真实失败附近状态想象带纠正动作的片段,用于接触任务的 VLA 后训练;Multisensory Continual Learning 则代表更轻量的路线:不在基础预训练阶段穷尽所有硬件,而是在少量多传感数据上把既有视觉策略适配到力觉等新模态。
语言侧也出现相同的“落地”趋势。高层文本推理只有约束到末端轨迹、图像空间路径或其他动作相关表示,才会转成控制收益;把长文本思维链直接作为动作前缀,反而可能增加延迟和误差累积。因而,H-WM 用低频符号逻辑维持任务顺序、潜在视觉子目标连接感知,再由高频 VLA 执行动作 chunk;StructVLA 则把稠密未来压缩成夹爪转换与运动转折点等稀疏结构。语言、视觉和触觉最终都被重新绑定到可执行的状态变化上。
四、跨本体训练变了:共享语义,不再假装共享控制命令
多机器人共训过去常把不同平台的动作归一化成统一 token。近一年证据更强调:相同命令在不同控制器、机器人结构和硬件单元上可能产生不同运动。SPACE 因而把“动作记录不是通用监督”作为跨机器人学习的核心限制。更稳健的共享量是末端或对象状态变化、接触目标、任务阶段和潜在动作结构,再由平台专属 adapter 与底层控制器落地。
这也解释了为何语言和视觉数据可以大规模共享,而精细触觉/力觉数据仍高度依赖本体。语义、物体和场景先验能够跨平台迁移;接触载荷、摩擦、关节限位、传感器实例与控制频率却需要目标机器人锚定。全身操作中的结果同样如此:WholeBodyVLA 表明人类视频能提供有用先验,但原生全身动作接口决定策略能够表达什么;TAC-LOCO 的真机对照进一步显示,触觉低层控制能显著改善动态操作,但证据仍绑定于特定硬件和任务。
五、评测目标变了:从成功率扩展到动作忠实、安全与可接纳性
训练范式变复杂后,只看离线损失或视觉未来是否逼真会产生新的假阳性。BadWAM 展示了世界动作模型“想象看起来正确、执行却错误”的情况;在其闭环扫描中,动作攻击使高成功率模型从 96.5% 降到 43.1%。这意味着世界模型必须验证 action fidelity,而不是只做视频质量检查。
触觉系统也不能只报告任务完成。SoftVTBench 把滑移、掉落、过度形变与安全交互作为独立目标;Admissibility for World-Model Simulators 则要求在把生成式模拟器用于策略裁决前,验证它是否对动作做出正确响应。合理的验收面至少应同时包含闭环成功、过力/滑移、扰动恢复、模态缺失退化、跨传感器实例性能、动作—后果一致性和额外推理延迟。
可操作框架
| 训练层 | 主导模态 | 推荐目标/接口 | 主要风险 |
|---|---|---|---|
| 任务与阶段 | 语言、全局视觉 | 子任务、进度、稀疏结构化未来 | 语言成为装饰条件;长文本推理拖慢控制 |
| 场景与几何 | RGB、深度、点云 | 对象/末端状态变化、3D 轨迹、可达性 | 视觉捷径;遮挡与标定误差 |
| 接触预测 | 触觉、力/力矩、动作 | 未来触觉 latent、接触事件、恢复片段 | 原始触觉噪声;无约束融合污染视觉 |
| 动作生成 | 本体状态、动作专家 | 连续动作/flow、action chunk、平台 adapter | token 解码失真;跨本体命令语义不一致 |
| 在线纠错 | 高频触觉/力觉、残差状态 | contact gate、residual correction、候选动作验证 | 延迟、硬件依赖、误触发 |
| 闭环验收 | 全模态与真实执行 | 成功、安全、恢复、action fidelity、风险—覆盖 | 用离线代理指标代替真实部署结果 |
研究空白与下一步
第一,仍缺少在同一数据、算力、控制器和真机预算下,对“输入拼接、选择性融合、世界动作模型、分层残差控制”做公平对照的研究。第二,触觉与力觉结果常绑定单一传感器实例,跨磨损、换件和跨厂商泛化证据不足。第三,训练期多传感监督能否在部署时可靠裁剪或蒸馏,是一个正在出现但本轮完整证据尚不足的方向。第四,多数论文聚焦夹爪或灵巧手的有限任务,长时程、柔性物、透明物和开放环境中的安全收益尚未稳定。
结论
过去一年的多模态训练演进可以压缩成一句话:机器人不再只是“同时看、听指令、感受触觉”,而是学习在动作因果链中让各模态各司其职。语言决定要完成什么,视觉说明当前世界大致是什么,触觉和力觉揭示接触正在怎样变化,动作条件世界模型检查下一步可能发生什么,平台控制器负责把共享意图变成可执行运动。真正的进步来自接口和闭环,而不是传感器清单的长度。
References
- Visuo-Tactile World Models
- EgoScale
- H-WM
- StructVLA
- TAMEn
- AT-VLA
- HapTile
- Dream-Tac
- TacForeSight
- ContactWorld
- Inference-time Policy Steering via Vision and Touch
- SPACE
- Tactile-WAM
- Multisensory Continual Learning
- TACO
- SoftVTBench
- Admissibility for World-Model Simulators
- TouchWorld
- TAC-LOCO
- BadWAM
- ObjRetarget
- WholeBodyVLA