v0 · 完整正文
研究综述
摘要
本文回顾 2025 年 7 月 15 日至 2026 年 7 月 15 日公开的具身智能论文，聚焦人类第一视角视频、头戴式相机数据及其派生的手—物轨迹，如何进入 VLA、模仿学习、世界模型和灵巧操作训练。检索注册表共收录 1,409 个候选，恢复 162 篇全文，最终以 15 篇通过全文阅读和主张审计的论文作为证据。
核心结论是：Ego-centric 数据的主要瓶颈并非单一的视觉域差，而是从“人类行为记录”到“机器人可执行监督”的转换损失。 原始视频擅长提供任务语义、物体交互顺序、视点选择和长尾场景，却通常缺少机器人所需的夹爪状态、关节/末端动作、力、接触、奖励与失败原因。相机自运动、遮挡、尺度歧义和本体差异又会进一步污染动作标签。近一年表现较好的工作，并不是把更多视频直接送进模型，而是在中间加入三维手—物表示、坐标解耦、接触与物理约束、质量过滤、模态监督掩码，以及少量目标机器人数据。规模有效，但只在这些接口成立之后有效。
研究边界
本文所称 Ego-centric 数据，包括自然人类第一视角 RGB/双目视频、头戴设备记录，以及由这些观测派生的头部、手腕、手指和手—物轨迹；研究对象是它们在 VLA、模仿学习、世界模型与灵巧操作训练中的作用。时间范围为 2025-07-15 至 2026-07-15。证据来自 15 篇通过完整非 OCR 全文阅读和主张核验的论文。本文能归纳当前方法反复遇到的机制性困难，但不能据此估计整个领域的论文占比，也不能把有限桌面操作、本体和传感配置下的结果外推为通用规模律。
中心判断
Ego-centric 数据的价值取决于一个可证伪条件：只有当训练管线能够显式表示不可观测变量，并把视觉行为转换成坐标一致、本体匹配、接触可行且经目标机器人闭环验证的监督时，增加人类视频规模才会稳定提高具身模型性能；若缺少这些接口，扩规模主要会扩大伪标签、物理不可执行轨迹和域错配。目标机器人数据因而不是人类视频规模化之后可以删除的残余成本，而是定义动作语义与检验转换是否成立的必要锚点。
1. 为什么 Ego-centric 数据仍然值得投入
第一视角数据与机器人腕部或头部相机在观察位置上较接近，能够记录“人在操作时看哪里、何时移动视点、如何接近物体”，并覆盖机器人示教难以经济采集的大量环境和任务。规模实验也给出了积极证据：EgoScale 在同一训练框架下把人类动作预训练从 1K 小时扩展到 20K 小时，五项真实机器人任务的平均完成度从 0.30 提升到 0.71。这个结果说明，第一视角数据确实可以形成可扩展的行为先验，而不仅是视觉表征预训练材料。
但这一结论有严格边界。EgoScale 的最佳结果还依赖少量精确对齐的人—机器人中间训练；EgoVLA 在没有机器人微调时，12 个仿真人形机器人任务的成功率全部为 0%。因此，更准确的判断是：Ego-centric 数据可以扩大“先验”的规模，却不能自动完成“控制”的落地。
2. 六类关键问题
2.1 视频里没有完整的机器人动作
普通第一视角视频只记录可见运动，不记录产生运动的控制量。Developing VLA from Egocentric Videos 从视频恢复物体轨迹，但无法获得夹爪开合状态，最终只能把动作表示为 9 维物体位姿增量。腕部轨迹也会遗漏手指姿态、接触建立/释放时刻以及施力方向。EgoScale 的消融进一步表明，wrist-only 动作会丢失灵巧操作所需的信息，而很小的指尖估计误差又可能在逆运动学后放大成异常关节姿态和接触丢失。
力敏感任务的缺口更明显。UMI-FT 之所以能处理顺应操作，是因为采集端额外记录六轴力/力矩、深度、位姿和抓握力。这反向说明：纯 RGB 或纯轨迹数据并不足以监督插入、穿刺、擦拭、旋拧等接触丰富任务。对世界模型而言，也需要明确“哪些模态有标签”。τ0-WM 将机器人遥操作、UMI、人类第一视角视频和策略 rollout 混合训练时，使用按模态的监督掩码，而不是假定所有样本都具有同一种动作真值。
2.2 相机运动、遮挡和尺度歧义会被误当作动作
第一视角的优势——相机随人移动——也是动作恢复的主要噪声源。手腕位姿与相机自运动天然耦合，如果坐标系没有统一，转头或走动会被错误写进手部动作。ActiveMimic 通过显式分离头部轨迹和腕部轨迹，把相机运动转化为“视点动作”；但在 HOT3D 的严格阈值下，自动恢复率仍只有头部 78.82%、左腕 65.93%、右腕 61.72%。这意味着，RGB-only 自动标注越大，标签噪声也可能同步放大。
动态遮挡、弱纹理与绝对深度同样关键。UMI-3D 指出单目视觉 SLAM 在遮挡、动态场景和跟踪失败时会直接损害示教数据质量；HumanEgo 的高成功率依赖稳定的手和物体跟踪，作者仍把单目深度、动态遮挡、级联误差和约 1 厘米精度瓶颈列为限制。换言之，第一视角“看起来接近机器人视角”，不等于它已经处于稳定、度量一致的机器人坐标系中。
2.3 人体与机器人之间不是一个简单的外观域差
跨本体差距至少包括外观、几何、运动学、控制频率和动作空间五层。仅把画面中的人手替换成机器人手，解决不了这些问题。HumanEgo 的 Water Flowers 消融中，纯视觉适配的成功率最高约 32.5%；加入显式的手—物 6DoF 交互表征后，使用原始人类 RGB 的成功率达到 85%。这表明真正起作用的是空间关系接口，而不是“图像更像机器人”。
对灵巧手而言，转换本身仍很昂贵。UniDex 先用逆运动学自动重定向，再用图形界面人工调整 6DoF 偏移，接触丰富片段尤其需要人工复核。在 Make Coffee 实验中，只有转换后的人类数据而没有机器人数据时，成功率仍接近 0；人类数据只能在一定区间内部分替代目标机器人示范。这说明目标机器人数据不是最后可有可无的“微调集”，而是定义可执行动作接口的锚点。
2.4 几何正确不代表物理可执行
从单目视频恢复的轨迹可能在视觉上合理，却包含穿模、悬空抓取、错误摩擦或不可能的关节配置。VideoManip 指出，即使手—物运动重建正确，对象几何、手尺度和姿态误差仍会造成无效接触；其当前系统还依赖静态或近静态相机，并在物体被手遮挡时采用固定手—物相对位姿近似。
SUGAR 将遮挡、接触伪影和重定向误差视为人类视频 motion prior 不能直接用于策略学习的原因。消融显示，去掉物理修正器会显著退化；去掉交互奖励时，机器人能模仿弯腰动作，却不能真正抬起物体。ObjRetarget 也显示，仅做姿态/关节对齐不能维持接触；移除手部几何模块后，物体滑移从 0.012 米增至 0.045 米，成功率从 75.8% 降至 53.3%。因此，接触几何、动力学可行性和力学信息应被视为独立的数据质量维度。
2.5 扩规模会同时扩噪声，过滤不能只看单帧质量
Ego-centric 数据预处理是一条长链：人物/物体检测、深度、姿态、轨迹、重定向和动作生成。任一模块的错误都可能级联。更危险的是，放宽过滤阈值常能快速增加数据量，却未必增加有效监督。在 Developing VLA 的实验中，较严格的背景轨迹过滤保留 45,157 条 episode，真实机器人得分 55.0；放宽阈值后保留 86,427 条，得分反而降到 38.8。数据数量几乎翻倍，性能却显著下降。
过滤标准还必须与任务结构和机器人能力相关。Imitating What Works 用仿真排除不可达、位姿估计错误或抓取不兼容的人类轨迹；ATHENA 提醒，多任务数据若只做全局效用排序，会把某些任务几乎清空；SIEVE 则按可复用原语和转换接口分配预算，再在每种结构内部选择稳定轨迹。由此可见，Ego-centric 数据治理至少需要同时评价：标签可信度、机器人可执行性、任务覆盖与行为结构，而不是一个统一“质量分”。
2.6 目标机器人锚定与闭环验证仍不可替代
现有证据反复出现同一模式：人类数据负责扩大语义和行为覆盖，少量机器人数据负责校准动作定义、观察分布和闭环误差。ActiveMimic 把第一视角相机运动转为主动感知先验后，仍需目标机器人的监督微调；EgoVLA、EgoScale 和 UniDex 也都显示，缺少机器人锚定时性能会大幅下降甚至归零。
因此，离线重建指标不能替代闭环成功率。标签在像素或位姿空间“接近真值”，并不保证误差不会在控制循环中累积，也不保证接触时序正确。现阶段最可信的评估，应同时报告前端恢复质量、动作/物理可执行率、按任务覆盖和目标机器人闭环结果。
3. 一个更实用的训练数据栈
综合上述证据，Ego-centric 数据不宜被视为与机器人示教同构的样本池，而应经过六层转换：
- 原始观测层：保留 RGB、深度、相机标定、时间戳和可用的头/手传感信息，记录缺失模态。
- 可观测监督层：为每条样本建立 supervision mask，区分可见事实、模型估计和不可观测变量，避免把伪标签当真值。
- 几何动作层：统一相机、世界、手和物体坐标系；恢复手—物 6DoF 关系，而不只保存二维轨迹或腕部位置。
- 本体转换层：根据目标机器人的运动学、关节限位、夹爪/灵巧手结构和控制频率进行重定向，并保留转换误差与人工修改记录。
- 接触与可执行性层：检查碰撞、持续接触、抓取稳定性、力/力矩和动力学可行性；必要时使用仿真或物理修正器过滤。
- 目标域锚定层：用少量高质量机器人示范、中间训练和真实闭环测试校准模型；数据选择同时约束任务覆盖，避免只保留“容易样本”。
这一数据栈把问题从“收多少小时视频”改写为“多少视频能通过各层质量闸门，以及每一层损失了什么”。这是比总时长更可解释的规模指标。
4. 尚未解决的研究空白
第一，现有工作使用的动作表示不统一，物体位姿、腕部位姿、指尖、关节和接触图之间缺少可比较的基准。第二，力、触觉和失败原因在自然第一视角视频中几乎不可观测，纯视觉预训练对接触任务的上限尚不清楚。第三，许多方法依赖专用头显、双目相机、已知物体模型或人工重定向，成本核算往往只报视频小时数，没有报告转换工时与算力。第四，当前结果多集中于桌面操作和有限本体，跨相机、跨操作者、跨机器人及长时任务的联合泛化证据仍不足。第五，近一年论文大多证明“某种转换管线有效”，还没有统一回答：哪类 Ego-centric 样本在什么目标机器人、什么动作空间下具有最高边际价值。
结论
Ego-centric 数据不是廉价机器人示教的直接替代品，而是一种高覆盖、低控制完备度的行为语料。它最擅长提供任务语义、交互顺序和主动视点先验；最薄弱的是精确动作、接触、力和本体适配。近一年的共同进展，是把研究重点从“缩小视觉域差”推进到“构建可执行监督接口”。对训练工程而言，优先级应是：先建立坐标、动作、接触和监督缺失的显式表示，再扩大数据规模；先用目标机器人小数据校准转换链，再讨论人类视频替代比例。否则，规模化很可能只是把不可执行、不可观测和不可验证的误差一起放大。