v0 · 完整正文
研究综述
摘要
本文回顾 2025 年 7 月 26 日至 2026 年 7 月 26 日的具身智能预训练、VLA、人类第一视角视频和跨本体数据研究。检索注册表包含 1,398 篇候选，40 篇已恢复完整非 OCR 全文，其中 20 篇通过深读、主张支持审计并进入本综述。
核心结论是：通用预训练不要求所有采集设备、机位和采集方法尽可能一致；它要求任务、场景、物体、视点、行为和本体覆盖尽可能多样，同时对坐标系、时间、动作语义、机位角色、标定和标签可靠性实行严格数据契约。 最可靠的工程结构不是“全部统一设备”，也不是“什么数据都收”，而是“广泛异构池 + 显式条件化/对齐 + 小规模目标域锚点数据”。
研究边界
本文所称“预训练模型”，主要指从多任务、多数据集或多本体轨迹中学习通用视觉—语言—动作能力的 VLA 及相邻操作预训练方法。相机参数严格区分为三层：原始采集规格、预处理/传输规格和模型实际输入规格。论文只公开后两层时，不倒推摄像头原生能力。对论文未报告的采集码率和 FOV，本文明确记为未报告，不用经验数字补空。
核心结论
近一年的证据支持一个“分层一致性”框架：
- 覆盖层要多样。 应扩大任务、物体、场景、光照、背景、视点、行为策略、成功/恢复过程、操作者和数据源覆盖。
- 语义接口层要一致或可条件化。 必须能解释每条数据的坐标系、本体、控制器、动作定义、物理时间、机位角色、内外参、同步质量和标签信心。
- 目标域层要有高保真锚点。 保留一小批与目标机器人观测几何、动作接口和任务分布对齐的数据，用于中间训练、微调和闭环验收。
成果最直接的 ACE-Ego-0 实验将 1.48K 小时人类 egocentric 伪动作数据与 4.53K+ 小时机器人/仿真数据联合预训练。它并未将数据“先混了再说”，而是统一到相机坐标系，用形态 token 表示不同身体，按物理时间而非帧数组成动作块，并对人类伪标签做可靠性加权。去掉形态条件、时间对齐和标签可靠性后，RoboCasa 平均成功率都下降；其中将噪声人类伪动作与传感器记录的机器人动作等权对待，降幅最大。
1. 多样性究竟是收益，还是噪声
1.1 应当扩大的多样性
对通用模型，多样数据的价值在于补齐目标数据中没有的任务、语义和动作区域。ACE-Ego-0 的 Sweep Cubes 实验中，34 条机器人示范只覆盖 0.062 平方米的末端平面工作空间；419 条任务匹配人类视频覆盖 0.296 平方米，为前者的 4.8 倍，联合微调将 10 次试验中的成功率从 10% 提高到 40%。
大规模 EgoScale 实验同样说明规模与环境覆盖有价值：人类动作预训练从 1K 小时增至 20K 小时时，五个真实机器人任务的平均完成度从 0.30 增至 0.71。但最佳结果仍需少量精确对齐的人—机器人中间训练。因此应扩大的是“有新覆盖价值的多样性”，而不是“来源名称的数量”。
跨本体数据也不是越多越好，还要看均衡。OXE-AugE 指出，OXE 原始真实数据中排名前四的机器人类型占比超过 85%，容易让策略过拟合少数机器人—场景组合。所以，多本体采集应同时管理各本体、夹爪和任务的权重，而不是把大数据源自然变成主导分布。
1.2 必须统一、归一或显式标记的差异
动作语义不能靠文件名暗示。SPACE 显示，同一个动作数字可以因本体几何、底层控制器、硬件和执行延迟不同而导致不同结果。数据质量研究则将进度、平滑性、无效停顿、限位接近和操作者反馈作为 episode 层信号，提醒我们不能只用“成功/失败”两个标签衡量轨迹价值。
人类视频的伪动作也不能与传感器记录的动作等权。人类视频过滤工作表明，广泛视频只有在目标机器人可达、物体与抓取兼容、轨迹可执行时才是有效监督。全局选数据方法的反例还显示，只按一个总体分数排序会清空某些任务的覆盖；更合理的做法是在任务、本体或原子行为结构内分配预算后再评分。
2. 相机参数：已发表实例与可泛化要求
| 维度 | 近一年已报告实例 | 能否当通用门槛 | 对采集的真正要求 |
|---|---|---|---|
| 分辨率 | HumanEgo 的 Aria RGB 原始采集为 2MP，策略输入为 240×320；SPARC 真机三视图输入为 224×224；部分 VLA 系统用 256×256 输入 | 不能。模型输入不等于采集上限 | 降采样和裁剪后仍能分辨目标、夹爪/手、接触区域和任务状态；原片保留足够的重裁剪与重标注裕量 |
| 帧率/采样率 | HumanEgo 人类 RGB 30 fps；EgoScale 大池为 30 fps；UMI-3D RGB 20 Hz、LiDAR 10 Hz；EmbodiedComp 真机双视图与动作 10 Hz | 不能。10、20、30 都是系统实例 | 覆盖任务中最快的可见状态变化；用硬件时间戳对齐视觉、状态、动作与其他模态；训练时按物理时间重采样，不把不同帧数当作相同时长 |
| 码率 | EmbodiedComp 在特定桌面基准中从 0.10 到 0.06 bpp 的性能约降 5%，约 0.04 bpp 转折，约 0.02 bpp 快速失效；SPARC 显示按机位/区域分配比特更有效 | 不能。bpp 还受分辨率、帧率、codec、模型和任务影响 | 保存原始/高质量归档源；对传输版本画“码率—闭环成功率”曲线；优先保留任务关键机位和区域，不只看 PSNR/SSIM |
| FOV | UMI-3D 在腕部使用 185° 鱼眼镜头；OXE-AugE 将不同相机的观测裁剪到接近 Bridge 数据的视场 | 不能。185° 是一种腕部实现，不是通用值 | 同时覆盖操作上下文和手/夹爪—目标交互区；记录内参、镜头模型和去/不去畸变策略；对目标域锚点数据保持观测几何可比 |
| 安置位置 | 头部/第一视角、顶置/基座第三视角、腕部/掌内相机均有成功系统；SPARC 用侧、顶、腕三视图 | 没有唯一最佳机位 | 把机位当作带语义的观测角色；目标域数据要包含实际部署机位；多视图要保存同步、外参和 view ID |
2.1 分辨率：要看裁剪后的有效像素，不是相机广告参数
在 HumanEgo 中，Project Aria Gen1 的 RGB 流以 30 fps 记录 2MP 图像，但训练的 RGB 输入为 240×320。该对比说明，原始分辨率的主要价值是为裁剪、跟踪、深度/位姿估计和以后重标注留出信息裕量；策略网络并不必然直接消费原始像素。SPARC 的真机侧视、顶视和腕视均缩放至 224×224，这也是模型/编码链的输入，不是论文对摄像头原生分辨率的统一要求。
因此，分辨率验收应变成任务测试：对最小物体、最细接触区、最大运动模糊和最不利裁剪分别评估跟踪/位姿误差与闭环成功率。“原片高于模型输入”是合理的工程结构；“所有数据源原生像素完全一致”不是证据支持的前提。
2.2 帧率：时间戳和物理时长比“全部 30 fps”更重要
人类 egocentric 视频里 30 fps 很常见：HumanEgo 与 EgoScale 都使用了 30 fps 人类 RGB 数据。但具身采集系统的合理频率可以不同。UMI-3D 的腕部 RGB 以 20 Hz 硬件触发，LiDAR 为 10 Hz，通过共同时钟和统一时空标定对齐；EmbodiedComp 的真实 UR5 采集以 10 Hz 记录腕部、第三人称视频、关节角和末端增量动作。
异构数据的问题不是“帧率必须相同”，而是“相同长度的 action chunk 是否代表相同物理时长”。ACE-Ego-0 去掉 time-aligned action chunking 后性能下降，原因正是不同帧率下固定步数覆盖了不同实际时长。工程上应保存原始时间戳和实际采样频率，再在训练时做物理时间对齐。对快速接触、冲击、工具操作或快速运动，还要用预实验检查 30 fps 是否会遗漏关键过渡，不能从慢速桌面任务直接外推。
2.3 码率：没有行业通用最低值，只有任务条件下的失效曲线
本次纳入的多数预训练论文没有报告原始采集视频的 codec、GOP、量化参数或 Mbps，因此现有证据不足以提出一个“预训练必须高于某 Mbps”的标准。少量专门的压缩工作提供了方法论而不是通用数字。
EmbodiedComp 在三个 VLA、桌面原子任务和其选定 codec 上观察到，机器人视觉性能从 0.10 到 0.06 bpp 约只下降 5%，约 0.04 bpp 出现转折，约 0.02 bpp 附近变得不可用。这是有价值的警示，却不是行业阈值：bpp 要与像素数、帧率、codec、视图数和任务一起解释。SPARC 进一步显示，不同机位和画面区域对动作的价值不均匀，把码率平均分给所有视图和区域是低效的。所以，采集与传输应分开：归档版保留高质量原始信息，在线版通过目标 VLA 的闭环成功率曲线选择 codec 和码率。
2.4 FOV 与机位：应对齐“观测几何”，不必对齐“摄像头型号”
FOV 的目标是在解析力、畸变和上下文覆盖之间取得任务相关平衡。UMI-3D 在夹爪腕部使用 185° 鱼眼镜头，以保留近距离交互和任务上下文；它保留原始鱼眼图像，并对相机与 LiDAR 做统一标定。OXE-AugE 则使用不同相机设备，但将真机观测裁剪到接近 Bridge 数据的视场。两者共同指向：硬件可以不同，进入模型的观测几何要么被对齐，要么被充分标记并在训练中条件化。
机位各有分工：顶置/基座第三视角稳定、适合观察全局，但对局部接触不敏感；头部 egocentric 视角能记录人的主动观察和长时序上下文，但存在自运动；腕部/掌内视角接近操作区，却容易被手、夹爪或物体遮挡，且运动模糊更强。主动感知预训练还表明，头戴相机运动可以是策略的“视点动作”，不应一律当成要被消除的噪声。
3. 建议的数据源架构
3.1 广泛池：覆盖优先
广泛池可同时纳入人类 egocentric 视频、机器人遥操、UMI、仿真、策略 rollout 和多机构数据。它的目标是获得广泛物体、场景、行为和视点，不必强求摄像头型号和原生分辨率相同。但每条数据都必须带上来源、本体、任务、机位、视觉参数、频率、时间戳、动作接口、控制器和监督可靠性。
3.2 数据契约：异构性可解释
建议的最小数据契约包括：
- 相机型号、镜头模型、原始分辨率、名义/实际帧率、曝光、快门、codec 及码率或质量档；
- 机位角色（head/base/top/side/wrist/palm）、内参、畸变参数、相对机器人基座/末端的外参与标定版本；
- 硬件时间戳或可校验的共同时钟，丢帧、抖动、触发延迟和跨模态对齐误差；
- 动作坐标系、绝对/增量语义、单位、控制频率、action chunk 覆盖的物理时长、底层控制器；
- 本体形态、夹爪/灵巧手、关节限位与可达性；
- 每个模态和动作通道的真值/伪标签/缺失标记，以及数据集级和时刻级的置信度。
3.3 目标域锚点：一致性优先
锚点集应尽可能匹配最终机器人的部署机位、观测裁剪、标定、动作接口、控制频率和任务难度。它不需要比广泛池大，却要高保真、可重复、有真实闭环结果。EgoScale、HumanEgo、UniDex 和 ACE-Ego-0 的证据都表明，外部多样数据可以带来先验和覆盖，但对准确控制的最后校准仍需可执行的目标域信号。UniDex 的结果尤其说明，经过重定向的人类数据可补充机器人示范，但在接触丰富任务上不能简单替代目标机器人数据。
4. 实际采集建议
以下是基于证据的工程建议，不是论文共同规定的行业标准：
- 原片与训练输入分层保存。 在存储允许时，原片保留比 224–320 级模型输入更高的空间信息，统一生成模型所需的派生版本；不应只存最后缩放图像。
- 将 30 fps 视为常见起点，而非通用终点。 用最快动作、最短接触和最大运动模糊做预试验；快速或接触任务若在 30 fps 丢失关键过渡，应提高帧率或增加更高频率的本体/力/触觉信号。
- 对多视图使用硬件时间戳和标定版本。 对齐误差至少要小于一个最快模态的采样周期；需做 3D 手—物或相机—LiDAR 重建时，毫秒级共同时钟更理想。
- 不用一个固定 FOV 覆盖所有机位。 全局机位优先完整任务状态，腕部机位优先夹爪/手与交互区；每个机位都用“关键对象在最不利姿态下不离开画面、仍有足够像素”作为验收。
- 码率用闭环任务定标。 分别测试原始、高、中、低码率的成功率、失败类型和延迟，选择失效转折前有安全余量的档位；不用 PSNR、SSIM 或人眼清晰度代替。
- 分层采样，不做大池简单随机混合。 先为任务、本体、机位、数据源和失败/恢复类型保留覆盖，再在层内按可执行性和标签可靠性加权。SIEVE 的结构化选择结果也支持先保留原语和组合结构，再谈数据效率。
条件、限制与研究空白
第一，本次样本的主流证据仍集中于桌面操作、夹爪或有限灵巧手。导航、足式运动、高速操作和室外传输未必共享相同分辨率/帧率/码率转折点。第二，大多数预训练论文对曝光、快门、滚动/全局快门、视频 codec、实际码率和 FOV 报告不完整，这是当前文献本身的复现性缺口。第三，多样来源的增益往往与新的动作表示、损失、过滤器和训练策略一起出现，因而很难将收益全部归因于“设备种类增加”。
第四，纯 RGB 对遮挡、弱纹理和接触任务存在可见上限。UMI-3D 用 LiDAR 解决视觉 SLAM 在遮挡、动态场景和跟踪失败中的可靠性问题；触觉视频基准显示大规模视觉—触觉表示可以从多任务数据中获得收益，但表示收益不等于已经解决了所有闭环控制的力觉需求。
结论与下一步
对用于具身预训练的数据来说，“一致”与“多样”并不矛盾，它们应用在不同层次。数据内容要多样，数据契约要统一，目标域锚点要对齐。相机型号可以不同，但机位角色、内外参、时间戳和观测几何不能不明；帧率可以不同，但物理时间语义不能混乱；码率可以因机位和任务自适应，但必须经过目标 VLA 的闭环验收。
如果要启动一个新的采集项目，最优先的投资顺序应是：先定义数据契约与目标域验收集，再用预实验确定各机位的分辨率、帧率、FOV 和码率，最后才扩大设备与来源的数量。这样获得的不是一个表面整齐的视频库，而是一个可以让模型正确理解差异的预训练资产。