v0 · 完整正文
研究综述
研究边界
本文关注 2025 年 7 月 22 日至 2026 年 7 月 22 日间，触觉数据与视觉数据被共同用于机器人表征、策略、VLA 或世界模型训练的方法。证据池来自 1,789 篇候选论文、247 篇可读全文，最终纳入 27 篇完成全文精读与主张核验的论文。这里的“联合训练”不只指把两种输入送入同一个网络，也包括未来触觉监督、视觉—触觉动作世界模型、训练期触觉蒸馏，以及视觉慢环与触觉快环的分层控制。
这批论文大多仍是 arXiv 预印本，任务、触觉硬件和机器人平台分散。因而本文能判断方法方向和已出现的闭环证据，不能据此宣布跨传感器、跨本体的通用视觉—触觉基础模型已经成熟。
中心判断
近一年的核心进展不是“触觉成为第二种视觉”，而是视觉和触觉开始按物理功能、因果角色与控制频率分工：视觉提供接触前的全局语义和几何，触觉描述动作造成的局部接触后果；训练时，未来触觉被用来约束动作相关表示或预测接触演化；执行时，视觉负责较慢的任务与名义动作，触觉负责较快的滑移、压力和失配纠正。真正有效的系统因此越来越像一条“同步接触数据—对齐表示—动作条件预测—门控融合—高频纠偏”的接触执行栈，而不是一个把所有 token 等权混合的多模态编码器。
这一判断可被证伪：如果后续跨传感器、跨任务实验证明，简单早期拼接在同等数据、算力和控制延迟下稳定优于表示对齐、门控或快慢分层，而且不产生视觉动力学污染与缺失模态退化，那么“功能—频率分层”就不再是必要结构。当前证据尚未出现这种反例。
一、数据单元从“配对帧”变成“接触事件”
视觉—触觉训练首先遇到的不是网络问题，而是数据单位问题。视觉帧通常连续且信息密集，触觉却只在 approach、contact、slip、release、recovery 等短暂阶段显著变化。如果按固定帧数均匀抽样，模型看到的大量样本可能只是无接触背景或同一次按压的近重复观测。
规模化正在发生。HT-Bench 把全手触觉与第一视角视频配对扩展到约 1,000 万 RGB 帧、780 万触觉帧和 226 项任务；OmniVTA/OmniViTac 则报告 21,879 条视觉—触觉—动作轨迹、86 个任务、126 个物体，并使用机器人与手持采集器的同构夹爪降低本体差异。进步不只是“更多帧”，而是同步动作、触觉和视觉，保留连续接触结构，并开始覆盖多类接触模式。
但规模很容易被近重复放大。RCT 表明，同一次机器人按压的相邻触觉帧不是独立样本；按帧随机切分会把同一物理交互泄漏到训练和测试。更有启发性的是，在相同的 held-out-contact-sequence 测试池上，从一次按压的浅接触到深接触均匀取 5 帧，只用 7,055 个训练帧就取得 68.18% 的触觉—文本 Recall@1，高于使用 22,576 帧完整按压的 62.44%。这说明训练数据的有效尺度应以独立接触事件、材料、传感器实例和任务覆盖计量，而不是只数帧。
二、融合位置从“输入拼接”转向“动作表示对齐”
早期融合的直觉是：把视觉 embedding、触觉 embedding 和机器人状态拼在一起，让注意力自己学习关系。近一年的结果正在修正这一假设，因为不同层的表示承担不同功能。VLM 侧更接近语义与视觉感知，最终动作态已经压缩为即时电机命令；未来触觉描述的是 action chunk 之后的接触后果，最合适的监督位置可能在两者之间。
Representation-Aligned Tactile Grounding 用冻结线性探针比较多个接口，发现未来触觉在动作专家中间层最容易读出。把未来触觉 latent 监督放在这一层，五项真实接触任务的平均成功率达到 74%，高于 VLM 侧监督的 58% 和最终动作态监督的 62%。这项结果的重要性不在于又多了一个辅助损失，而在于它把问题从“是否使用触觉”改写成“触觉监督应塑造哪一种动作表示”。
融合还出现了方向性。Tactile-WAM 指出，无约束地把触觉反向注入视觉动力学可能损害视频与动作预测；AT-VLA 则把低频视觉—语言理解与高频触觉反馈分开。由此可见，触觉更适合作为接触门控、动作后果监督或局部残差，而不是要求它与视觉在每一层、每一帧都对称融合。
三、学习目标从“识别接触”升级为“预测动作后果”
表征对齐回答“触觉监督放在哪里”，世界模型路线回答“模型应学习什么”。Visuo-Tactile World Models 将外部视觉、指尖触觉、腕部位姿和关节状态按时间戳同步，学习接触丰富任务的联合动力学；Dream-Tac 进一步同时生成未来视觉、未来触觉和动作 chunk；ContactWorld 的消融则把关键条件归结为空间结构、时间连续性和跨模态兼容性。
这条路线比触觉分类更接近控制，因为它要求模型回答：“执行这段动作后，画面和接触场会怎样变化？”视觉未来负责全局对象运动，触觉未来负责局部压力、滑移和接触稳定性，两者共同约束动作忠实。但“能生成”仍不等于“会控制”。如果预测只用于重建损失，模型可能得到漂亮的未来视频，却没有进入动作选择、候选验证或纠偏。
Inference-time Policy Steering via Vision and Touch 代表另一种用法：在推理时用视觉—触觉世界模型给候选动作评分。它把世界模型从训练期表征器变成动作验证器，也提醒我们区分三种价值层级：重建或检索提升、策略排序提升、真实闭环成功率提升。只有最后两层才能直接支撑部署判断。
四、控制架构从单环策略变成“慢规划 + 快反射”
视觉和触觉的采样率、延迟和信息角色不同。把所有输入塞进一个 5–10 Hz 的 VLA 循环，会让触觉错过滑移与过力发生后的短窗口；反过来让高频触觉承担任务语义，也会浪费算力并放大噪声。
OmniVTA 给出了目前较完整的分层实例：双流世界模型预测视觉与触觉未来，门控策略根据预测接触状态调整模态权重，60 Hz 触觉控制器根据预测—观测差异产生修正动作。在其 object-diversity 评测中，加入触觉反射闭环后，擦拭成功率由 0.66 提到 0.80，切割由 0.50 提到 0.85。这里的增益不能只归因于“多一种传感器”，因为对照组保留了视觉—触觉策略，区别是触觉是否进入高频闭环。
TouchWorld 也采用类似分工：视觉—语言负责子任务规划，触觉世界模型预测接触目标，视觉—触觉策略生成名义动作，触觉残差负责在线修正。两项工作共同支持一个系统性结论：联合训练的最小有效单元不再是单一多模态 Transformer，而是跨频率协作的策略栈。
五、部署出现两条分叉：实时触觉与训练期触觉
并非所有平台都能长期承受触觉硬件的成本、磨损和标定维护。一条路线保留部署时触觉，用它处理遮挡、滑移和突发扰动；另一条路线把触觉当作 privileged training signal，部署时只保留视觉和本体状态。
HapticVLA 先用触觉构造过力、压力集中和滑移相关的安全奖励训练 teacher，再把动作分布蒸馏给无触觉 student。在三项易损物体任务、每项 20 次测试中，无触觉 student 的平均成功率为 86.7%。这证明“训练时有触觉、推理时无触觉”在封闭任务上可行，但不能外推为视觉已替代触觉：训练仍依赖目标硬件的触觉数据，而且新材料、突发滑移和外力扰动可能超出视觉可预测范围。
因此，两条路线不是互斥替代，而是风险分层。对接触过程稳定、材料分布窄、硬件成本敏感的任务，可优先尝试触觉蒸馏；对插入、柔性物、易碎物、动态扰动和安全关键任务，实时触觉仍更有依据。
方法谱系与适用条件
| 路线 | 训练信号与融合位置 | 部署时需要触觉 | 最适合解决 | 主要风险 |
|---|---|---|---|---|
| 配对表征学习 | 视觉—触觉对比、遮蔽或重建 | 可选 | 材料、接触结构、跨模态检索 | 帧级泄漏；表征分数不等于控制收益 |
| 触觉增强 VLA | 当前触觉作为 token、adapter 或门控输入 | 是 | 遮挡、接触状态、动作修正 | 时序错位；无约束融合污染视觉先验 |
| 未来触觉 grounding | 未来触觉 latent 监督动作相关中间层 | 通常是 | 让动作表示编码接触后果 | 接口与目标选择依赖架构和传感器 |
| 视觉—触觉世界模型 | 动作条件下联合预测视觉与触觉未来 | 视用法而定 | 规划、动作验证、失败附近后训练 | 预测逼真不等于动作忠实 |
| 慢—快分层闭环 | 视觉慢策略 + 触觉高频 residual/reflex | 是 | 滑移、压力、扰动恢复 | 系统复杂、同步与稳定性要求高 |
| 触觉蒸馏 | 触觉 teacher/奖励监督视觉—状态 student | 否 | 传感器成本敏感、分布较封闭的任务 | 分布外接触不可观测；训练仍需触觉 |
条件、分歧与尚未解决的问题
第一，表征进展与控制进展必须分账。HT-Bench 证明大规模视觉—触觉表征训练可行，但其四项评测没有真实机器人闭环，不能直接推导策略收益。相对而言，OmniVTA、TouchWorld 和表示对齐 grounding 给出了真实任务证据，但任务和硬件仍窄。
第二，评测不能只看最终成功。SoftVTBench 强调柔性物操作还应独立记录滑移、掉落、过度形变和安全交互。一个更高的成功率可能掩盖更大的峰值力、传感器损伤或恢复失败。
第三，跨传感器通用性仍是薄弱环节。触觉图像、marker displacement、局部力场与腕部六维力/力矩的空间含义和采样频率不同。共同 latent 可以缓解接口差异，但不能消除安装位置、软胶磨损、换件重标定和传感器实例偏差。
第四，世界模型必须验证动作忠实。视觉上合理的未来不能作为接触安全的充分证据；需要同时检查触觉预测、动作—状态因果顺序、候选动作排序与真实执行的一致性。
下一步最有价值的实验不是再做一个“视觉 vs 视觉+触觉”的总消融，而是逐层回答：按接触事件切分是否优于按帧切分？触觉应进入输入、动作中间层还是未来预测头？门控是否防止模态污染？缺失触觉时性能如何退化？高频 residual 是否在同等动作策略下真正提高恢复率？这些问题能把“多模态有效”拆成可复现、可部署的机制证据。
结论
近一年视觉—触觉联合训练已经越过“证明触觉有用”的阶段，开始回答触觉在何时、何处、以什么形式影响动作。最可信的方向是：用接触事件而非帧堆积数据；用未来触觉约束动作相关表示而非无差别拼接；用世界模型预测动作造成的接触后果；用视觉慢环保持语义与几何，用触觉快环修正滑移、压力和失配。与此同时，跨硬件泛化、长期维护、缺失模态退化和安全过程评测仍未解决。对系统设计者而言，触觉的价值不应由输入通道数量证明，而应由它是否让机器人更早发现错误、更快纠偏、并在真实闭环中减少危险接触来证明。
References
- HT-Bench — 大规模全手触觉—第一视角表征基准。
- OmniVTA — 大规模视觉—触觉—动作数据与预测—反射闭环。
- RCT — 接触序列切分、数据泄漏与材料泛化。
- Representation-Aligned Tactile Grounding — 未来触觉监督的动作表示接口。
- Visuo-Tactile World Models — 联合视觉—触觉动力学与规划。
- Dream-Tac — 视觉、触觉与动作 chunk 的世界动作模型。
- ContactWorld — 视觉—触觉世界模型的关键设计因素。
- Tactile-WAM — 非对称注意力与模态污染边界。
- AT-VLA — 低频视觉语言与高频触觉反馈分离。
- Inference-time Policy Steering via Vision and Touch — 推理期动作候选验证。
- TouchWorld — 预测与反应式触觉分层策略。
- HapticVLA — 训练期触觉蒸馏到无触觉部署策略。
- SoftVTBench — 柔性物视觉—触觉安全过程评测。