v0 · 完整正文
研究综述
研究边界
本文考察 2025 年 7 月 27 日至 2026 年 7 月 27 日之间的论文,问题是:空间数据的生产难点究竟在哪里,具身机器人与智能驾驶有哪些共性和结构性差异?本轮为 scoping review,候选池 225 篇,恢复 44 篇完整非 OCR 全文,最终选取 17 篇通过主张支持审计的论文作为正式证据。这一范围能支撑生产机制的比较,但不等于全部产业成本调查;新近 arXiv 论文中的一些结果也仍需要更大规模复现。
中心判断
空间数据的主要瓶颈不是“捕获更多像素或点”,而是生产可用于决策的时空真值:需要把多模态观测放进同一坐标系和时间轴,补足遮挡与接触中的不可观状态,绑定动作、意图和拓扑语义,覆盖自然分布中稀缺的失败,并用真实或可反应的闭环检验其后果。具身机器人最难的是“执行真值”:某个身体在接触中究竟做了什么、是否可执行;智驾最难的是“覆盖真值”:道路世界是否被持续、拓扑正确地记录,稀有风险是否足够密集地被复现。
一、空间真值先是一条生产链,之后才是一个文件
空间数据至少包含四层真值:度量几何(位姿、深度、尺度),拓扑与语义(车道属性、物体身份、可通行/可操作性),时间动态(运动、遮挡、状态转移),以及动作后果(执行一个动作后,世界如何反应)。任何一层失真,都可以让整条数据变得不可学习或不可验证。
智驾的 HRDX 是一个典型例子:城市峡谷中 GNSS 会受多径与遮挡干扰,因此需要 LiDAR–惯导里程计与 INS 融合;相机、LiDAR 还要受统一主时钟约束,扫描需要运动补偿。但坐标对齐之后,仍需专家在全局注册的稠密点云上标注道路几何、拓扑和法规属性。KITScenes 更进一步:它使用航拍影像提供无遮挡俯视图,再用车载传感器定位立体交通设施,将两层地图融合、人工复核,通过拓扑检查、规划仿真和闭环试驾验收。这说明“地图标注”实际上是多源测绘、版本更新和软件验收的组合。
机器人一侧的同类问题更近。ActiveMimic 表明,第一视角视频中的手腕轨迹与相机自运动天然耦合,坐标系不统一就会把头部/相机位移错当成手部动作。HapTile 则把时间对齐推到触觉、动作和状态层:检查时间戳缺口、损坏轨迹和动作—状态一致性。因此,两个行业的第一个共性是:时空对齐不是数据清洗的小步骤,而是数据是否有意义的先决条件。
二、真正贵的不是观测,而是不可观状态的补全
驾驶场景里,遮挡导致的未知通常是远处车辆、弱势交通参与者或被挡住的车道结构;机器人里,未知往往是“最后一厘米”的接触力、滑移、物体局部变形和夹爪状态。前者能部分借助多车/路侧视角、长程地图与航拍视角补全;后者往往必须把触觉、力/力矩和本体感觉放入控制环。
这也是纯视觉机器人数据的边界。UMI-3D 指出,单目视觉 SLAM 在遮挡、动态变化、弱特征区域会跟踪失败,需要 LiDAR 中心的 3D 位姿估计扩大可采任务分布。3PoinTr 则不简单丢弃含遮挡的轨迹,而只屏蔽不可见的点—时刻损失,尽量保留任务关键物体点。HT-Bench 已将触觉—第一视角配对数据扩展到百万级帧和任务级分布外评测,但这仍首先是“接触表征”的底座,不自动等于长时闭环操作能力。
由此可以推断,空间数据的边际价值不与传感器数量单调增长,而取决于新模态是否补足了当前任务的不可观变量。若这一推断正确,那么去掉某个模态后,关联的闭环失败应当在接触、遮挡或恶劣环境压力测试中系统增加;如果没有,该模态更可能是冗余成本。
三、两类系统都缺长尾,但缺的长尾不同
智驾可以被动积累海量里程,问题是真正危险的事件在自然分布中极稀缺。SinD 2.0 把冲突描述得很清楚:日常合规交互占据大部分时长,而系统边界测试需要视觉遮挡、狭窄可行域、路权争夺等稀有语义触发条件。更难的是,自动风险标签会继承轨迹估计、地图和信号灯绑定误差,可重现并不等于已成为人工验证的真值。
机器人的长尾并非主要来自一个“稀有场景库”,而是对象、工具、材料、接触相位、操作阶段和本体的组合爆炸。一条成功示教通常只说明“在这一次接触中做对了”,却不告诉模型如何在滑移、对齐偏差、空抓或外界扰动中恢复。TacForeSight 因此专门采集恢复交互:若目标能力包含扰动后重新建立接触,数据集就必须包含这些过程,而不能只增加成功次数。
这一差异决定了数据飞轮的不同形态:智驾应以“车队日志→风险挖掘→可反应仿真→闭环压测”为主;机器人应以“成功示教→人为扰动→失败/恢复→目标本体复验”为主。
四、合成数据可以放大覆盖,但无法凭空制造真值
两个领域都在用世界模型、仿真和重建补数据。但这些方法的价值是“扩展已有真值的支撑域”,而不是取消真值生产。
OccSim 能从单帧和未来自车动作生成公里级 3D occupancy,并用合成流预训练占用预测模型。可论文同时承认,语义 occupancy 本身仍依赖人工语义标注,可用训练帧数不足 10 万。CARLA-GS 将视觉重建、LLM 意图推理和 CARLA 物理执行拆成模块,用于合成危险交互;但在其小规模实验中,人工检查的 LLM 输出有效率只有 29.4%。这些结果不是否定合成数据,而是将它定位为一个需要校验的生产工序。
具身侧也一样。仿真过滤人类视频的研究 显示,人类视频只有经过机器人可达性、任务兼容性和抓取适合性过滤,才更接近可执行示教。这意味着“合成/仿真”的最可靠用法不是宣称与现实无差别,而是做筛选器、压力测试器和数据补全器。
五、具身机器人与智驾:同一组质量问题,不同的物理约束
| 比较维度 | 具身机器人 | 智能驾驶 | 共同机制 |
|---|---|---|---|
| 核心空间单元 | 物体—手/夹爪—工具的局部关系 | 自车—道路拓扑—多交通体的大范围关系 | 都需要对象身份、坐标与时间连续性 |
| 最难真值 | 接触、力、滑移、可执行动作 | 地图拓扑、占用、交互风险与 ODD 覆盖 | 纯视觉都存在遮挡与弱可观性 |
| 动作的可迁移性 | 弱:控制器、本体、夹爪改变动作含义 | 相对较强:车辆运动学更统一,但车型与控制栈仍有差异 | 动作标签必须绑定执行上下文 |
| 数据获取 | 主动交互为主,单条成本高,可主动施加扰动 | 被动车队日志为主,量大,但稀有风险密度低 | 都需要有目的地重采失败和边界样本 |
| 语义寿命 | 对象/任务/本体变化快,控制参数影响大 | 地图与交通法规相对稳定,但必须持续更新 | 数据都需要版本、设备与语义谱系 |
| 最终验收 | 目标机器人在真实接触闭环中的成功、恢复与安全 | 可反应多交通体闭环与真车/高可信仿真验证 | 开环准确率不能单独定义数据质量 |
具身侧最根本的特殊性是“动作属于身体”。SPACE 指出,同一条记录命令在不同控制器、硬件个体与部署动力学下会产生不同运动。ACE-Ego-0 也显示,联合人类视频和机器人数据时,必须显式处理坐标、本体、物理时间与标签可信度。智驾侧更重要的特殊性是“真值属于 ODD”:一座城市、一种天气、一类路口上的有效空间覆盖,无法自动代表另一地区的驾驶文化和风险分布。
六、对数据平台的启示
第一,数据 schema 应围绕“可证伪的事件”,而不是只围绕传感器文件。每个 episode/log 至少应保留:坐标系与标定版本、主时钟与模态延迟、可信监督字段、动作与执行控制器、接触/风险事件、失败与恢复段,以及真实闭环结果。StandardE2E 对智驾的警示是,格式、API、坐标规约和模态覆盖的碎片化本身就会阻断跨数据集实验;但统一接口不能把缺失的模态或不同的标签语义变得等价。
第二,质量门禁应采用乘法观,而非加分表。可以把有效空间数据近似表达为:
有效性 ≈ 时空对齐 × 关键状态可观性 × 语义/动作正确性 × 长尾覆盖 × 闭环可验证性
任一项接近零,更高分辨率或更多时长都很难补救。因此验收指标应从“采集了多少”改为“可用监督字段比例、对齐残差、遮挡/接触恢复率、风险事件密度、闭环增益与失败拒识率”。
第三,两个行业都应保留少量高质量“锚定真值”来校正大规模弱监督。智驾的锚定真值是高精度位姿、人工复核地图、真实风险事件和闭环试验;机器人的锚定真值是目标机器人的真实动作、接触、失败恢复和终局成功。人类视频、仿真数据、自动标注和世界模型可以绕着它们扩展,却不应取代它们。
条件、分歧与待验证点
本轮证据尚不支持三个过度强结论。第一,不能说所有机器人任务都必须上触觉和 3D;任务若在开放空间中纯视觉已可观,新模态可能只增加成本。第二,不能由一个生成模型的高真实度推出它能用于安全裁决;动作响应、交互反应和闭环相关性必须单独验证。第三,不能把本轮公开论文的数据集成本直接换算成企业规模的单位经济性;论文通常不报告完整的标注工时、设备维护、事故责任和数据合规成本。
下一步最值得做的实验,是在同一生产预算下比较三种路线:增加被动观测、增加主动失败/恢复采集,以及增加合成数据与人工复核。真正有意义的因变量不是开环准确率,而是目标 ODD/目标机器人上的闭环成功、恢复、失败拒识和安全边界。
结论
具身机器人和智能驾驶并非两个毫不相干的数据行业。它们都在将不完全、异步、有遮挡的多模态观测,转化为能对动作后果负责的时空真值。二者的差异在于真值的最终锚点:机器人锚定在特定身体的接触执行,智驾锚定在特定 ODD 中的地图、多体交互与安全覆盖。所以,最值得投资的不是某一种“万能空间数据”,而是一条能够持续对齐、暴露不可观状态、富集失败并回到闭环验收的数据生产系统。
References
- ActiveMimic: Egocentric Video Pretraining with Active Perception
- HapTile: A Haptic-Informed Vision-Tactile-Language-Action Dataset for Contact-Rich Imitation Learning
- UMI-3D: Extending Universal Manipulation Interface from Vision-Limited to 3D Spatial Perception
- 3PoinTr: 3D Point Tracks for Learning Manipulation from Unconstrained Human Videos
- HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision
- TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation
- SPACE: Enabling Learning from Cross-Robot Data Toward Generalist Policies
- ACE-Ego-0: Unifying Egocentric Human and Robotic Data for VLA Pretraining
- KITScenes Multimodal
- HRDX: A Large-Scale Vector HD-Map Dataset
- SinD 2.0
- OccSim: Multi-kilometer Simulation with Long-horizon Occupancy World Models
- CARLA-GS
- StandardE2E
- Imitating What Works