v0 · 完整正文
研究综述
研究边界
版本说明:本轮以 15 篇可获取完整正文的论文为论证主干,逐篇核对问题、方法、结果与限制;未能取得可读全文的论文不再承担正文结论。
本文覆盖 2026 年 1 月 14 日至 7 月 14 日公开论文,从 822 条去重候选中核验 124 篇可用全文,并以 33 篇直接相关论文支撑示教筛选、四维几何、触觉世界模型、跨本体对齐和闭环评测等判断。它讨论的是数据何时能改善机器人策略,而不是建立一个脱离任务的通用质量排行榜。覆盖足以识别共同矛盾,但不同论文的任务、机器人和评测口径并不统一。
中心判断
具身智能数据质量的主要矛盾,已经从“数据少与模型大”转变为“规模扩张与因果可用性”之间的冲突。机器人真正需要的不是更多观测,而是能把任务意图、三维状态、动作语义、接触后果和失败恢复连成闭环的数据。数据规模越大,若模态可靠性、本体差异和动作结果没有被保存,错误监督也会按同样速度放大。
矛盾一:数量增加,行为结构反而被稀释
SIEVE 表明,示教中的冗余、噪声和覆盖不均并非中性成本;保留可复用行为结构后,较少数据可以超过全量训练。这个结果否定了“只要继续堆轨迹,模型会自动平均掉坏样本”的直觉。重复动作会放大常见模式,稀有恢复和边界状态却可能在总量中被淹没。
但筛选也不能退化成只保留最高分轨迹。多任务训练需要守住任务、本体、场景和失败类型的覆盖,否则局部效用最高的数据会制造新的分布偏差。质量治理因此是约束优化:一边减少有害冗余,一边保护对泛化有价值的差异。
矛盾二:视觉覆盖很广,物理状态仍然不可见
Lift3D-VLA 和 GEM-4D 都指向二维视觉的边界:看清物体类别不等于掌握度量几何,生成逼真画面也不等于保持跨帧三维对应。对于遮挡、形变和接触,数据必须显式保存空间结构与时间连续性,模型才能区分“物体看起来没变”与“接触状态已经失稳”。
Deform360 进一步说明,软物体数据需要多视角全局运动、局部触觉形变和可评测三维轨迹共同约束。TACO 则把纯视觉纠错的失败落到接触扰动上:图像可以合理,触觉却已不一致。多模态不是装饰,而是补足任务状态的可观测性。
矛盾三:异构数据扩大覆盖,也破坏监督等价性
人类第一视角视频、手持接口、真实机器人示教和生成式轨迹都能扩展数据来源,却不能被当成同一种真值。τ0-WM 将它们分配给不同监督角色:人类视频提供视觉动力学,机器人示教锚定可执行动作,失败轨迹训练纠错。若缺失模态被强行补成标签,数据混合会把不确定性伪装成确定监督。
跨本体问题更明显。相同动作命令在不同控制器、坐标系和硬件上可能产生不同运动;只统一文件格式,不能统一动作含义。数据资产必须保留本体、控制频率、坐标约定和接触条件,训练时再通过适配器或共享中间表示对齐。
矛盾四:离线指标易算,闭环价值难证
GigaWorld-1 提醒,世界模型的短期视觉质量不等于策略评估可靠性;真正关键的是动作条件下的长程一致性。示教数据同样如此:轨迹平滑、画面清晰和标签完整都只是代理指标,最终要回答它是否提高真实成功率、恢复能力和分布外稳定性。
这要求质量体系形成反馈回路。采集阶段发现的停顿和关节极限应返回给采集员;训练阶段识别出的高影响片段应调整采样;部署失败又应反向生成困难样本。没有闭环,质量评分会停在静态报表,无法适应目标策略变化。
条件、分歧与风险
现有证据不支持一套跨任务通用阈值。伪标注在学习相对几何时可能足够,在精密装配中却可能不可接受;触觉对接触任务关键,在开放空间移动中收益有限;数字遥操作能降低硬件成本,却仍受复杂物理和本体微调约束。因此,每个质量指标都必须声明任务、模态、时间尺度和可接受风险。
数据治理也不能把所有失败数据删掉。失败附近常含最有价值的恢复信息,次优长轨迹中可能存在可复用片段。更稳妥的做法是记录片段级进度和失败类型,再决定过滤、降权、分阶段训练或专门用于纠错。
可操作框架与下一步
建议把质量账本拆成五列:采集接口是否引入系统偏差,状态是否可观测且同步,动作语义是否与本体一致,样本是否补充目标覆盖,训练后是否带来闭环收益。每列都需要可复现的检测与反例,而不是汇总成一个不可解释的总分。
下一步研究应建设跨任务的干预式评测:固定模型与训练预算,只改变数据筛选、模态组合或本体对齐策略,再比较真实动作结果。只有这样,才能把“数据看起来更好”推进为“数据导致策略更可靠”。
结论
具身数据质量不是清洗环节,而是从采集硬件到部署反馈的系统属性。规模仍然重要,但只有当数据保持可观测状态、可解释动作和可验证后果时,规模才会转化为能力。未来的数据竞争不会只比小时数,而会比谁更早发现无效监督、谁能保留困难状态、谁能用闭环结果持续重写采集与训练规则。
组织与治理含义
上述矛盾还改变了数据团队的组织方式。采集、算法和部署不能各自优化局部指标:采集员需要知道哪些失败状态最稀缺,算法团队需要看到硬件与操作者带来的系统偏差,部署团队则要把接管、碰撞和恢复日志返还给数据管线。只有共享同一质量账本,问题才不会在部门之间被反复改名。
质量版本也应与模型版本绑定。目标任务、动作空间或本体发生变化后,旧排序不再天然有效;同一条轨迹可能从高价值变成不兼容。每次训练都应记录使用的数据快照、筛选规则、权重和排除原因,使策略退化能够追到具体数据决策。
成本评估不能只算采集小时。结构筛选需要计算与验证,多模态需要标定和维护,真实失败数据还涉及安全成本。更合理的指标是单位闭环收益所需的总成本,包括采集、清洗、标注、验证与机器人占用时间。这样才能比较“多采”“精筛”和“补模态”究竟哪条路线更经济。
References
- SIEVE: Structure-Aware Data Selection for Imitation Learning with VLA Models
- Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation
- GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation
- Deform360: A Massive Multi-view Visuotactile Dataset for Deformable World Models
- TACO: TActile World Model as a Self-COrrector forScalable VLA Post-Training
- τ0-WM: A Unified Video-Action World Model for Robotic Manipulation
- GigaWorld-1: A Roadmap to Build World Models for Robot Policy Evaluation