v0 · 完整正文
研究综述
研究边界与证据范围
本备忘录关注的不是“怎样把一个 ACT 检查点跑起来”，而是更完整的工程问题：动作分块策略进入 RoboTwin 2.0 后，怎样定义动作表示、组织多任务训练、选择块内执行长度，并用闭环实验区分模型能力与执行器调度能力。检索时间为 2026 年 2 月 7 日至 8 月 7 日；四轮检索获得 228 篇去重候选，恢复 39 篇完整非 OCR 正文，最终深读并审计 15 篇。它们覆盖 ACT 变体、扩散或流匹配动作头、自适应执行视界、世界动作模型与双臂基准。多数工作仍是 2026 年预印本，跨论文的成功率不能直接横比。
中心判断
ACT 接入 RoboTwin 2.0 的核心不在于选定一个 chunk_size，而在于拆开三个原本容易混淆的时间尺度：模型一次预测多长的动作序列、控制器一次真正执行多少步、环境在何时提供新观测并触发重规划。预测视界决定学习目标，执行视界决定开环暴露长度，重规划频率决定反馈带宽。把三者绑定成同一个常数，虽然实现简单，却会把任务阶段、接触风险和推理成本都藏进一个经验超参数。
因此，较稳妥的项目方案应采用“两层基线、三类增强、四组对照”。两层基线是原始 ACT 训练基线与固定视界闭环基线；三类增强分别针对多任务表示、执行时机和跨块状态；四组对照则同时覆盖干净与随机场景、固定与自适应视界、等推理预算与等执行步数、仿真与真实机器人。这样才能判断增益来自更好的动作生成，还是来自更频繁地重新调用策略。
一、接入层：先统一动作与数据接口，再讨论模型结构
RoboTwin 2.0 的双臂任务要求策略同时处理多视角图像、本体状态、语言任务以及左右臂协调动作。最小可复现实验应先冻结一套明确的数据契约：观测视角及时间同步、关节或末端位姿表示、左右臂和夹爪维度顺序、动作归一化范围、控制频率、episode 截断规则以及成功判定。若这些接口在训练和评测间发生漂移，模型比较会被坐标系或执行器差异污染。
MoE-ACT 给出了最接近“ACT 多任务化”的直接证据：它保留动作分块解码框架，在编码器中加入稀疏专家路由，并用语言条件调制和多尺度交叉注意力减少任务间动作分布缠结。这提示项目可以把原始 ACT 作为可解释基线，再逐项加入任务条件、专家路由和视觉融合，而不是一开始就更换整个策略族。与此同时，Action-Geometry Prediction 表明，双臂动作块还可以和未来三维几何潜变量联合预测；这种设计适合检验“只靠二维图像特征是否足以处理遮挡、接触和双臂协同”。
训练目标也不必局限于对单条专家动作做点估计。VQActFlow 将动作块编码为离散代码，使语言指令对应的任务模式和场景可行性能够分别引导；Set-Supervised Diffusion Policy 则把人工纠错扩展成动作块的期望集合，而不是把一次纠错当作唯一正确标签。两者共同说明，多任务失败可能来自“动作模式选择错误”和“监督目标过窄”，这两种问题不应都归因于主干容量不足。
二、执行层：动作块长度不等于执行视界
最强的一致信号来自执行时机研究。固定执行视界让每个动作块在若干步内开环运行：视界太短会频繁打断连贯动作并增加计算，视界太长则会在接触、对齐和插入阶段继续执行过时预测。PACE 在 RoboTwin 2.0 上观察到，成功率随执行视界变化具有任务依赖和非单调性；它使用动作速度曲线的低速谷值寻找阶段边界。这意味着项目不应只报告一个人工选出的最佳视界，而应至少做视界扫描并公开任务级曲线。
自适应方法可以按信号来源分为三组。第一组直接读动作分布：AAC 用动作熵决定块长，DVAC 用流匹配末端去噪过程中干净动作估计的方差识别不稳定未来动作。第二组学习一个调度器：DEHP 在冻结基础策略的前提下用在线强化学习训练视界预测头，BCP 把选择分解为有序的“继续或重规划”决策，并把成功和调用效率同时写入奖励。第三组验证预测世界与真实世界是否仍一致：FFDC-WAM 在执行过程中比较预测视觉动态、动作与新观测，在想象失真时提前重规划。
这些方法不应被简单排成单一排行榜。基于速度或去噪方差的规则训练成本低，但信号只适用于特定策略结构；学习式调度器更灵活，却需要在线交互和额外训练；未来—现实验证能直接利用世界模型，却受视觉预测质量影响。合理的工程顺序是先建立固定视界扫描，再加入无需训练的调度方法，最后才评估强化学习或世界模型调度器是否值得其额外复杂度。
三、跨块状态：闭环不只是更频繁地看图
缩短执行视界只能更早获得新观测，不能保证策略知道自己的动作怎样改变了场景。EvoScene-VLA 为每个动作块维护由动作更新、再由新观测校正的循环场景前缀；AHA-WAM 则把低频视频规划器和高频动作执行器拆开，让短动作块复用长时世界上下文。这两项工作指向同一结构：慢速场景推理和快速闭环控制可以异步协作，不必共享一个时间分辨率。
另一条路线是把未来预测保留在训练侧。GigaWorld-Policy 联合学习动作与未来视频，但通过因果掩码使部署时可以只解码动作；DREAM-Chunk 则在测试时采样多个动作块，用轻量潜在世界模型筛选与真实观测最一致的候选。前者优先降低在线时延，后者用额外计算换取随机扰动下的块内反应性。项目需要明确选择的是“训练期辅助监督”“跨块记忆”还是“测试时多候选搜索”，因为三者的算力位置和失败方式不同。
四、闭环评测：把模型、调度器和计算预算分开
建议把 RoboTwin 2.0 评测矩阵分成五个轴。第一，场景轴同时报告干净和随机设置，并保留每任务结果，避免平均分掩盖少数高风险任务。第二，时间轴扫描预测视界与执行视界，至少包含单步、短块、完整块和一个自适应方案。第三，预算轴分别做等策略调用次数、等墙钟时间和等执行步数比较，防止“更高成功率”只是更多推理。第四，扰动轴加入动作噪声、视觉延迟、遮挡和物体位姿偏移，观察重规划是否真的发生在反馈敏感阶段。第五，迁移轴在同一控制接口下复核少量实机双臂任务，记录失败类型而不只记录成功率。
最关键的消融应围绕因果拆分：基础策略冻结时只改变执行调度；调度固定时只改变动作表示；主干、数据和训练轮数保持一致时再比较结构模块。对自适应方法还应报告执行视界分布、策略调用次数、控制频率和阶段级可视化。否则，很难区分“更聪明地决定何时看一眼”与“只是看得更勤”。
条件、限制与未决问题
现有证据存在四项共同边界。其一，许多结果使用不同预训练数据、基础策略和任务子集，数值并非同一赛道。其二，速度、动作熵、去噪方差和预测—观测误差都只是风险代理，没有哪个信号被证明在所有任务上可靠。其三，学习式视界调度依赖在线强化学习，而冻结基础策略会限制性能上限。其四，世界模型和多候选搜索会改变算力、延迟与显存位置，仿真收益未必能在边缘设备复现。
还有一个更根本的空白：当前多数工作优化“何时重规划”，但很少统一处理重规划之后如何连续拼接新旧动作块、如何把安全约束写入执行器、以及如何在任务阶段发生误识别时恢复。动作块调度应被视为闭环控制系统的一部分，而不是独立的推理技巧。
结论与项目启发
对本项目最可执行的路线是：先把原始 ACT 做成数据、动作和评测接口都稳定的 RoboTwin 2.0 基线；随后加入语言条件和多任务解耦，建立固定视界扫描；再以 PACE 或 DVAC 这类无需重训的方案验证自适应执行价值；最后根据失败集中在“场景状态遗失”还是“动作候选不足”，选择循环场景状态、异步世界规划或测试时多候选。每次增强都必须在冻结其他变量的闭环对照中验证。
由此得到的判断不是“ACT 已经过时”，而是 ACT 只定义了动作块如何生成，尚未完整定义动作块如何被信任、执行、打断和评测。RoboTwin 2.0 的价值，正是把这几层放进同一双臂闭环系统中逐层检验。
References
- MoE-ACT：ACT 的语言条件多任务稀疏专家改造。
- Action-Geometry Prediction：动作块与未来三维几何联合预测。
- PACE：基于运动相位的测试时执行视界选择。
- AAC：以动作熵调节块长。
- DVAC：以去噪方差触发重规划。
- DEHP：冻结策略上的强化学习视界预测。
- BCP：有序继续/重规划策略。
- FFDC-WAM：基于未来—现实一致性的自适应执行。
- AHA-WAM：异步世界规划与高频动作执行。
- EvoScene-VLA：跨块循环场景状态。
- DREAM-Chunk：潜在世界模型支持的测试时多候选执行。
- GigaWorld-Policy：训练期视频监督与可选视频解码。