v0 · 完整正文
研究综述
研究边界
本文考察 2025 年 7 月 20 日至 2026 年 7 月 20 日的触觉机器人研究,重点回答:触觉是否已经从专用传感器演示,进入可复用的具身学习与控制栈?本轮采用 scoping review,复用并增量审核了 867 篇候选、124 篇可读全文,最终接纳 23 篇完整非 OCR 全文和 24 条证据事件。范围覆盖触觉数据与表征、视觉—触觉世界模型、VLA/策略融合、灵巧与全身操作、评测及部署边界。
这里的“触觉”包括局部压力/形变、视觉触觉图像、marker displacement、滑移和接触状态;腕部六维力/力矩作为低维全局受力信号单列,但在多篇系统中与触觉共同组成反馈链。本文不讨论面向人的触觉反馈、医疗假肢或纯材料器件性能,也不把候选论文、摘要或网页信息当成已验证证据。
中心判断
近一年最实质的进展,不是某一种触觉传感器突然“解决了机器人触觉”,而是触觉开始成为一条跨越数据、预测和控制的接触执行栈:接触前由视觉与语言提供任务语义和全局几何,接触中由动作条件世界模型预测触觉演化,接触后由高频触觉通道纠正滑移、卡滞、力不匹配和抓持不稳。这一判断可以被证伪:如果触觉只能提高离线重建或分类指标,却不能在遮挡、精密装配、软物体或扰动条件下改善闭环成功、安全或恢复,它仍只是感知附件。
现有证据支持“栈正在形成”,但不支持“通用触觉基础模型已经成熟”。硬件异构、时间同步、跨传感器迁移、长期漂移以及闭环评测仍是决定性约束。
一、数据底座从触觉图像扩展为接触状态序列
过去的常见做法是把一帧触觉图像附加到视觉策略。近一年的数据设计更接近“可重放的接触过程”:同步记录视觉、双指触觉、腕部位姿、关节状态和动作,并把时间对齐本身视为学习条件。Visuo-Tactile World Models 的训练序列就是这种同步多流结构;HapTile 进一步保留 marker displacement,使接触几何和滑移不再隐没在原始图像中。UMI-FT 则说明,在接触丰富任务里,便携采集只有同时记录力/力矩、深度、位姿与抓持力,才可能超越视觉—轨迹监督的上限。
规模也开始上升。HT-Bench 汇集约 1000 万 RGB 帧、780 万触觉帧和 226 项任务,并用检索、掩码补全、视觉到触觉合成和触觉帧预测分别测试空间结构、跨模态对齐和时间动态。Deform360 则把软物体的多视角全局运动、局部触觉形变和 3D 轨迹放进同一数据闭环。这表明“触觉数据”正在从单传感器读数变为视觉—触觉—动作—几何的同步事件流。
但规模化尚未等于通用化。HT-Bench 明确没有覆盖指尖光学触觉、力/力矩、皮肤式 taxel 和非手部本体,且四项任务仍是表征层评测,没有直接测量真实机器人闭环性能。可以推断:下一阶段的核心不是继续堆帧数,而是让数据模式能够跨传感器实例、跨本体和跨维护周期对齐;这一推断若被大规模跨硬件闭环迁移实验否定,就需要修正。
二、模型架构从“多一个 token”转向分时标接触控制
触觉和视觉的时间结构不同。视觉与语言适合较低频的物体识别、任务理解和接触前规划;滑移、卡滞与力突变要求更快反应。AT-VLA 因而把低频视觉语言流与高频触觉流分开,而不是把触觉简单拼到统一 token 序列。TouchWorld 更进一步,将视觉语言子任务规划、触觉世界模型预测、视觉—触觉动作生成和高频触觉残差纠正分成层级,使“预期接触”与“即时反射”同时存在。
这解释了为什么有些多模态模型增益有限。Tactile-WAM 指出,触觉是稀疏、局部、事件驱动的信号;无约束注入会让视觉 dynamics model 吸收不匹配的统计结构,反而污染视频和动作预测。真正的融合问题不是“有没有触觉”,而是:何时触发、注入哪一层、以什么空间参考系对齐,以及它是否改变当前动作 chunk。
RGB-S 展示了另一条路线:把稀疏触觉接触投影到图像域,并显式建模运动学与标定误差带来的空间不确定性。它说明视觉—触觉对齐不是抽象 embedding 相似度问题,而是接触点、相机和机器人运动学之间的几何问题。
三、触觉世界模型从“生成未来”走向“筛选和纠正动作”
世界模型是近一年触觉研究最明显的汇合点。Dream-Tac 联合生成未来视觉、未来触觉和动作 chunk;TacForeSight 用腕部六维力/力矩作为未来触觉 latent 的先行条件,说明全局受力和局部接触分布具有互补时间结构。ContactWorld 的比较则表明,收益来自空间结构、时间连续性和跨模态兼容性,而不是模态数量本身。
更重要的转变发生在推理期。Inference-time Policy Steering via Vision and Touch 用视觉—触觉 latent world model 在候选动作之间先做长时域视觉筛选,再以短时域触觉细化。触觉世界模型因此不再只是训练期的生成器,而成为动作验证器。TACO 又把失败附近的真实状态转成带纠正动作的想象片段,用于接触丰富任务的 VLA 后训练。两者共同指向“预测—验证—纠正”闭环。
不过,生成触觉逼真并不能自动获得控制权。世界模型若要充当评测裁判,必须先证明它按动作正确响应,而不是只生成视觉上可信的未来;Validate the Dream Before You Trust Its Verdict 因而主张建立可采信等级。对触觉系统而言,这意味着必须分别验证对象持久性、接触状态、动作忠实度和真实闭环相关性。
四、触觉的作用域从末端执行器扩到全身控制
触觉正在越过“手指传感器”的边界。在四足 loco-manipulation 中,接触变化会同时影响夹爪、手臂轨迹和身体稳定。Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies 报告,低层加入 tactile-command tracking 后,插入成功率由 0.70 提升到 0.85,重定向加插入由 0.60 提升到 0.80。TAC-LOCO 在 10 次匹配真机试验中取得 90% 动态全身操作成功率,对照固定夹爪基线为 50%。
这些结果的意义不只在数字,而在控制接口:触觉不再在高层回答“是否接触”,而是进入低层命令跟踪和全身协调。适用边界也很明确——样本规模小、机器人与传感器特定,不能外推为所有 humanoid 或移动操作任务的通用收益。
五、评测正在从“完成任务”转向“安全地完成接触过程”
接触任务只报告成功率,会把压坏、过力、滑移和掉落隐藏在“成功”中。SoftVTBench 将 Goal Success 与 Safety Success 分开,要求无掉落并限制峰值形变,直接显示 success-only evaluation 会高估策略表现。部署监控也在转向局部执行走廊:PATCH 指出,全局视觉异常或帧级变化无法判断异常是否会影响当前动作;风险必须限定到 active action chunk 即将经过的区域。
因此,触觉项目的最小评测集不应只有任务成功率,还应包括接触检测延迟、滑移/掉落、过力、峰值形变、扰动恢复、跨传感器实例退化、模态缺失退化和风险—覆盖。没有这些指标,触觉模型很容易在离线数据上显得先进,却无法解释真机为什么更可靠。
条件、分歧与研究空白
第一,没有“最佳触觉传感器”的普适答案。本轮跨传感器、同任务、同策略预算的完整闭环比较仍不足;传感器空间分辨率、剪切力能力、材料摩擦、安装位置和维护成本必须相对于任务选择。
第二,跨硬件泛化仍是薄弱环节。触觉数据格式、接触面积、坐标系和噪声形态高度依赖传感器与本体。当前更现实的路线,是像Multisensory Continual Learning 那样,用少量目标硬件的多传感数据适配既有视觉策略,而不是假设预训练一次覆盖所有传感器。
第三,长期部署证据不足。标定漂移、表面磨损、换件后重标定、温度与材料变化鲜少进入主流基准。这里应区分“本轮未充分覆盖”与“论文明确声明开放问题”:前者是本综述的覆盖边界,不能冒充领域共识。
第四,触觉不能替代柔顺控制与机构设计。视觉、触觉、力控、阻抗和末端执行器共同决定最后一厘米的可执行性;任何单模态模型若缺少机械顺应性和动作约束,都可能把更好的状态估计转化为更大的接触力。
对研究与系统设计的含义
一个可操作的触觉栈应按四层验收:数据层记录同步视觉、触觉、力/力矩、动作和接触事件;表征层验证空间、跨模态和时间结构;策略层分离慢速语义规划、动作级预测和快速触觉纠错;部署层报告安全过程、恢复、漂移和跨实例退化。只有后一层出现稳定增益,前面三层的创新才算转化为具身能力。
结论
近一年触觉机器人研究已经越过“感知到接触”的阶段,开始回答“如何预测、验证并调节接触”。最有价值的变化是触觉进入分时标策略、世界模型和全身控制,并推动评测从任务终态走向接触过程安全。与此同时,通用触觉基础模型仍受硬件异构、同步标定、跨实例迁移和闭环证据约束。更稳妥的判断是:触觉的基础设施化刚刚开始,领先系统已经展示了局部闭环价值,但领域尚未完成从论文装置到可维护、可比较、可部署标准件的跨越。
References
- Visuo-Tactile World Models
- In-the-Wild Compliant Manipulation with UMI-FT
- TAMEn
- AT-VLA
- HapTile
- Dream-Tac
- RGB-S
- TacForeSight
- ContactWorld
- Inference-time Policy Steering via Vision and Touch
- PATCH
- HT-Bench / HandTouch
- Tactile-WAM
- Multisensory Continual Learning
- TACO
- SoftVTBench
- Deform360
- Validate the Dream Before You Trust Its Verdict
- TouchWorld
- Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies
- TAC-LOCO