v0 · 完整正文
研究综述
研究边界
本文讨论 2025 年 7 月 19 日至 2026 年 7 月 19 日公开的 loco-manipulation 研究，即机器人在移动、保持平衡或改变支撑关系的同时完成物体交互。范围同时覆盖足式机器人、轮式移动操作与人形机器人，但重点放在“移动与操作是否真正耦合”，而不是一般导航后再抓取。
这是一份范围综述：检索得到 556 篇候选，恢复了 76 篇完整非 OCR 正文，最终对 21 篇代表性论文完成逐条证据核验。它适合判断技术路线和研究空白，不适合据此给所有方法做统一排行榜，因为各论文的机器人、任务、成功定义和试验次数差异很大。
中心判断
近一年最重要的变化，不是机器人又多会了几个“走过去再抓”的任务，而是研究重心开始从模块拼接转向三种原生耦合：全身动作空间的统一控制、跨来源数据的统一学习，以及视觉—地形—触觉—故障状态的统一反馈。结果是低层全身协调已经在受控场景中形成可复用能力，数据扩展也出现了清晰方法论；但自主性瓶颈随之上移到物体状态估计、长时序记忆、任务规划和真实世界失配。换言之，领域正从“能不能同时走和操作”转向“怎样在未知场景里持续、可靠地做对”。
一、控制范式：下肢不再只是会走路的底盘
过去常见系统把上肢逆解和下肢行走策略分开，再用速度与高度指令粘合。它容易训练，却天然排除了脚踩踏板、深蹲取物、边走边维持受力等动作。近一年的论文开始系统验证这种分解的代价。
OpenHLM 在真实 Unitree G1 上比较了多种遥操作与动作表示。其关键发现不是某个 VLA 主干更强，而是完整暴露全身关节的 joint-based interface，能表达解耦控制或三点 VR 接口做不到的深蹲、脚部操作和全身协同。它说明“策略上限”首先受动作接口约束：数据采集时没让操作者使用腿和腰，后续模型再大也学不到这些动作。
这一趋势在不同形态上有相似结论。MLM 用同一四足臂控制器完成多任务轨迹跟踪，真实任务中遥操作成功率达 98%/100%，而由扩散策略提供轨迹时降至 80%/85%；低层控制已较稳定，高层轨迹质量成为主要误差源。TA-WBC 又把地形编码和相对于接触平面的末端目标引入控制，在“取瓶—上五级台阶—投放—返回”的 staged route 上连续完成 5 次且无跌倒或踉跄。这里真正的新意是操作目标不再绑定波动的机身坐标，而是绑定脚部接触几何。
另一条路线保留低层策略，把灵活性放到在线规划。Sumo 在预训练全身策略的低维命令空间里运行采样式 MPC。Spot 在真实硬件上用手臂、躯干和腿共同竖起 15 kg 轮胎——超过论文给出的 11 kg 手臂额定举升能力——10 次全部成功。它表明“学习稳定运动原语 + 测试时规划”能够处理大而重的物体，并通过修改模型或代价函数迁移任务；代价是仍依赖动捕、物体模型和人工设计任务代价。
因此，控制层的阶段性结论是：原生全身动作空间已显示出明确收益，但“统一策略”不是“端到端解决一切”。更可行的系统往往仍是分层的，只是分层边界从“上肢/下肢”转向“任务意图/全身执行”。
二、数据路线：从昂贵全身遥操作，转向有结构的异构数据组合
人形 loco-manipulation 的数据成本很高：操作员要同时控制步态、姿态、双臂和接触，还要承担硬件复位与安全成本。近一年最扎实的进展之一，是论文不再只说“需要更多数据”，而是开始回答不同数据源究竟提供什么。
HumanoidMimicGen 将一次人体示范拆成技能、重定向并进行全身规划与随机化，在九个仿真任务上把 DexMimicGen+ 的平均策略表现从 0.33 提高到 0.89。它证明结构化生成可以放大稀疏示范，但条件也很清楚：技能分段、先后关系、环境和成功判据仍需人工定义。
真实采集侧，HuMI 用穿戴式追踪和人机回路 IK 预览实现无机器人采集。在 15 分钟比较中，它采集 62 条轨迹，对照系统为 28 条；验收率为 96.7% 对 64.3%，单条合格数据耗时降至对照的 30%。EgoHumanoid 则把 300 条第一视角人类示范与 100 条机器人示范对齐共训：域内得分从 robot-only 的 59% 提至 78%，泛化场景从 31% 提至 82%。这说明人类数据更像“场景与运动先验”，但仍需要机器人数据锚定动作语义，而且导航/接近通常比精细接触更容易迁移。
OpenHLM 对数据来源的分工给出了更直接的实验：四个未被全身遥操作覆盖的任务上，加入同形态、站立不走的操作数据后，平均任务进度由 33% 升至 87%，接近 12 任务全遥操作 oracle 的 94%。Robot-free HuMI 数据能教会新物体和新语言，但在当前规模下不擅长注入训练集中不存在的新动作。这个结果把“异构共训”从口号变成了设计原则：
- 用少量全身遥操作建立形态与动作锚点；
- 用便宜的同形态静态操作补精细动作；
- 用人类或无机器人数据扩展物体、语言与场景；
- 用仿真生成覆盖初始状态和布局，而不是期望单一数据源包办所有能力。
WholeBodyVLA 进一步表明，无动作标注的人类视频也能提供统一潜在动作先验；移除该潜在模型后，论文报告成功率下降 38.7 个百分点。不过它和上述结果共同提醒：跨形态数据最先改善的是表示与泛化，不会自动解决接触动力学和机器人可执行性。
三、感知与反馈：视觉之外，地形、触觉和故障开始进入闭环
若全身控制只看本体状态，它很难判断脚下坡度、手中滑移或执行器退化。近一年出现了三类值得重视的反馈通道。
第一类是地形。TA-WBC 的足端多环高程编码让控制器提前调整姿态和落脚点，说明 loco-manipulation 的“perception”不能只围绕目标物体，支撑面本身也是操作状态的一部分。
第二类是触觉。Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies 让高层扩散策略预测视觉—触觉目标，再由低层跟踪触觉命令；在 20 次 rollout 的接触任务中，加入低层触觉跟踪把插入成功率从 0.70 提到 0.85，完整重定向加插入从 0.60 提到 0.80。TAC-LOCO 更进一步，把触觉阵列、腿、臂和夹爪放入一个动态全身策略。在相同命令的 10 次硬件试验中，其成功率为 90%，固定夹爪 Deep WBC 基线为 50%。这意味着触觉正在从“操作策略的附加观测”变成“调节全身受力与抓持”的控制信号。
第三类是故障状态。FT-WBC 在未见过的锁死关节和极限放置高度下仍保持 70% 生存率，但任务成功只有 45%。这不是简单的性能下降，而是显式的 safety–completion trade-off：姿态模块限制激进俯仰，以防质心逃出退化后的支撑多边形。其边界是目前只处理单执行器故障，且任务多为静止操作或先移动后操作，尚非持续动态操作。
感知闭环仍是部署短板。ULTRA 在真实 G1 的稀疏目标跟随中，使用动捕物体状态的纵向/横向成功率为 80%/90%，换成机载深度点云后为 50%/60%。所以，控制器能否接受稀疏目标已经不是唯一问题；遮挡、点云提取和状态估计精度会直接决定全身策略是否可用。
四、长时序自主性：记忆和规划开始补课，但真实闭环证据仍弱
低层动作稳定后，机器人会遇到新的失败：物体离开视野后忘记位置、前一阶段的小误差累积到下一阶段、规划器给出不可执行姿态，或者论文只分别测了规划和控制。
SERF 用时空神经点图同时记录环境和机器人状态，在三个 BEHAVIOR-1K 仿真任务上把图像 VLA 的任务进度 40.7/43.0/48.4 提升到 63.5/60.1/52.5。它说明显式记忆对大空间、多物体任务有价值，但当前实验依赖 simulator instance label、先验地图和刚体跟踪，距离真实在线建图仍有明显落差。
模型式任务与运动规划也在向全身动力学靠拢。Task and Motion Planning for Humanoid Loco-manipulation 把 PDDL/MCTS 与全身动力学、接触和力矩约束结合，但双箱任务 200 次扩展平均仍需 52.3 秒，真实部署留作未来工作。另一边，Kitchen-R 虽有超过 500 条语言指令和约 2700 条轨迹，但为了隔离规划误差，执行评测始终使用 ground-truth plan；因此其模块得分不能直接解释为端到端自治成功率。
这里的研究空白很明确：需要同时公开语言任务成功、规划可行率、全身执行成功、恢复行为和累计时延，而不是只在其中一个层级给高分。
五、Sim-to-Real：出现正例，但“窄任务成功”仍不能外推为可靠部署
近一年对仿真迁移的态度更成熟：一部分工作展示零样本成功，另一部分则把失败明确量化。
SIMPLE 提供 60 个任务、千余物体和 50 个场景；在两个零样本任务上，pick-and-place 从仿真 9/10 到真实 8/10，handover 从 10/10 到 8/10。这是积极信号，但真实测试只覆盖两个短任务。WHOLE-MoMa 用 WBC 生成数据再做 offline RL，真实 cupboard 成功 17/25，优于生成器 4/25 和行为克隆 8/25；然而将 marker-based state 换成普通 pose tracker 后又降到 10/25，表明“策略迁移成功”常常仍以高精度状态估计为前提。
反例同样重要。MoDeSuite 中，两种图像策略在仿真窗帘任务成功，但真实世界 10 次都没有完成；检索策略仅 2 次接触窗帘，行为克隆甚至未到达。另有部署分析显示，提高 MuJoCo 摩擦冲量比可以消除滑移，却反映的是牵引参数调节而非控制器内在鲁棒性（A Framework for Deploying Learning-based Quadruped Loco-Manipulation）。
因此，今后的 sim-to-real 结果至少应回答：真实任务是否与仿真同分布；成功是否依赖动捕、marker 或已知几何；是否报告多次试验与失败分解；是否覆盖可变摩擦、柔顺、遮挡和重置误差。否则，单个演示视频的证据强度很有限。
可操作的系统设计框架
| 层级 | 近一年较可信的选择 | 仍需警惕 |
|---|---|---|
| 数据 | 少量全身锚点 + 同形态静态操作 + 人类/robot-free 数据 + 仿真扩增 | 跨形态数据不自动提供新接触动作 |
| 高层 | 语言/视觉策略输出稀疏目标、潜在动作或可执行轨迹 | 长时序记忆、主动感知与可行性约束不足 |
| 低层 | 统一全身策略或“在线规划 + 预训练全身策略” | 动作接口若先天解耦，会限制能力上限 |
| 感知 | 同时建模目标、地形、触觉、故障和机器人自身空间状态 | 动捕/marker 依赖会掩盖真实部署难度 |
| 评测 | 分阶段指标 + 端到端成功 + 失败恢复 + 多次真实试验 | 模块高分不能替代闭环自治证据 |
研究空白与下一步
第一，需要“原生全身自治”而非只统一控制：把语言任务、场景记忆、主动观察、接触状态和全身可执行性放进一个可恢复闭环。第二，需要跨论文可比较的分层指标，明确 perception、planning、whole-body tracking、contact 与 recovery 各自的失败概率。第三，需要从刚体和受控实验室扩展到可变形物、柔顺机构、未知摩擦和多人环境。第四，需要安全从 reward 设计走向可验证约束，特别是负载、跌倒、关节故障与人机接触下的风险界限。
结论
近一年 loco-manipulation 已经越过“把导航和抓取接起来”的早期阶段。全身动作接口、统一控制、异构数据共训、地形与触觉反馈都给出了真实硬件上的可验证进展；其中，数据来源的分工和高低层职责的重新划分，可能比单纯增大 VLA 更具普适价值。但当前最强系统仍高度依赖任务结构、精确状态或受控场景。真正决定下一阶段的，不是机器人能否完成一个新 demo，而是它在目标变化、感知失真、接触突变和阶段性失败之后，能否继续完成任务。
References
- OpenHLM
- Sumo
- MLM
- Learning Terrain-Aware Whole-Body Control
- HumanoidMimicGen
- HuMI
- EgoHumanoid
- WholeBodyVLA
- Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies
- TAC-LOCO
- FT-WBC
- ULTRA
- SERF
- Task and Motion Planning for Humanoid Loco-manipulation
- Kitchen-R
- SIMPLE
- WHOLE-MoMa
- MoDeSuite
- A Framework for Deploying Learning-based Quadruped Loco-Manipulation