中文题目与文献信息

中文题目：动作分块流策略的实时执行。

  • **作者：**Kevin Black、Manuel Y. Galliker、Sergey Levine；Physical Intelligence、UC Berkeley。
  • **版本：**NeurIPS 2025；arXiv:2506.07339，首次提交2025-06-09；本项目上传的是 v2，2025-12-05，共25页。
  • **核心方法：**Real-Time Chunking，简称RTC。将新旧动作块的连续衔接写成动作空间中的条件补全问题，用上一块已经承诺执行的前缀约束新块的流式去噪，同时在后台推理、前台执行。
  • **最重要的边界：**RTC减少等待并改善闭环执行，不一定降低单次模型推理成本；原文实测单次模型延迟反而从76 ms增加到97 ms。[1，§3、§4及附录A.3；2]

1. 从动作块到实时约束

设策略在观测 oto_t 下生成

π(At∣ot),At=[at,…,at+H−1],\pi(A_t\mid o_t),\qquad A_t=[a_t,\ldots,a_{t+H-1}],

HH 是预测长度，ss 是执行/更新跨度，Δt\Delta t 是控制采样周期，δ\delta 是完整推理耗时。论文以 d=⌊δ/Δt⌋d=\lfloor\delta/\Delta t\rfloor 表示推理期间经过的控制步数，并在理论说明中忽略子采样周期内的同步误差。工程上需按真实时间戳和执行计数处理，不能把向下取整直接当成安全延迟上界。[1，§2]

同步执行在一段动作完成后才启动下一次推理，期间机器人停顿或保持控制指令。异步执行允许推理与运动重叠，但由当前观测预测的动作块完成时，机器人已经沿旧计划移动。直接切换到新块的相应时间位置，可能造成姿态、速度或加速度突变。[1，§2、图2]

更深层的问题是多模态动作分布：同一障碍物可以从左侧或右侧绕过，两个动作块都可能合理，但它们的逐点平均可能正好穿过障碍物。因此，跨块连续性不能仅通过对两个独立计划做算术平均保证。RTC希望新计划在吸收新观测时，仍与已经执行和即将不可撤回执行的旧动作保持一致。[1，§1—3]

2. RTC把动作生成改写成什么问题

在新一轮推理开始时，把旧块尚未过去的动作按新时间原点对齐。推理要经过 dd 个控制周期，这前 dd 个动作在新结果返回前必然继续执行，因此称为“冻结前缀”。后面的重叠动作可以修改，但修改应逐渐摆脱旧计划；超出旧预测范围的尾部必须重新生成。[1，§3、图3]

例如图3中 H=16,s=5,d=4H=16,s=5,d=4：新块第0—3步已承诺执行，权重1；第4—10步与旧块重叠，可以调整，权重逐渐衰减；第11—15步没有旧块参考，权重0。这里的“冻结”首先指现实执行承诺不可改变；算法用引导让新生成的对应部分尽量一致，并不意味着数值上始终严格相等。[1，图3、§3.1—3.2]

这一补全对应条件分布的直观形式为

p(Afuture∣ot,Acommitted),p(A_{\rm future}\mid o_t,A_{\rm committed}),

但论文不是重新训练一个显式以旧动作为输入的策略，而是在原有流模型的推理过程里加入补全引导。它不需要再训练基础策略；需要基础模型支持可微动作去噪及相应的采样形式。[1，§3.1]

3. 流匹配与补全引导公式

3.1 原始流策略

从高斯动作噪声 A0A^0 出发，积分速度场 vπv_\pi：

Aτ+1/n=Aτ+1nvπ(Aτ,ot,τ),τ=0,1n,…,1−1n.A^{\tau+1/n}=A^\tau+\frac1n v_\pi(A^\tau,o_t,\tau), \qquad\tau=0,\frac1n,\ldots,1-\frac1n.

nn 是去噪步数，τ\tau 是生成过程的流时间，不能与机器人执行时间 tt 混淆。论文由当前流状态估计最终干净动作块：

A^1=Aτ+(1−τ)vπ(Aτ,ot,τ).\widehat A^1=A^\tau+(1-\tau)v_\pi(A^\tau,o_t,\tau).

它是基于当前速度的一步终点估计，不是额外完整运行一次采样。[1，式1、3]

3.2 用旧动作残差修正速度场

把动作块展平为长度 HMHM 的向量，MM 为每步动作维数；YY 为对齐并补齐长度的旧动作参考，WW 为按时间设置并广播到动作维度的权重。采用列向量记法，论文式2可等价写成

v~=vπ+λ(τ)J⊤diag⁡(W)(Y−A^1),J=∂A^1∂Aτ,\widetilde v=v_\pi+\lambda(\tau) J^\top\operatorname{diag}(W)(Y-\widehat A^1), \quad J=\frac{\partial\widehat A^1}{\partial A^\tau},

λ(τ)=min⁡ ⁣(β,1−ττrτ2),rτ2=(1−τ)2τ2+(1−τ)2.\lambda(\tau)=\min\!\left(\beta,\frac{1-\tau}{\tau r_\tau^2}\right), \qquad r_\tau^2=\frac{(1-\tau)^2}{\tau^2+(1-\tau)^2}.

将 v~\widetilde v 代入积分。向量—雅可比乘积无需显式构造完整雅可比矩阵，可由反向模式自动微分获得。其方向对应减小预测终点和旧动作的加权偏差。反向传播是对当前噪声动作变量求导，模型权重保持固定，因此“有反向传播”不等于在线训练。[1，式2—4、算法1]

3.3 为什么需要截断引导强度

未截断系数在 τ=0\tau=0 存在奇异性；对控制常用的5步去噪，过大引导还会使离散积分不稳定。作者因此引入上限 β\beta，最终仿真和实机都设为5。附录显示大 β\beta 可能使动作块发散并增大最大加速度；更多引导并不必然意味着更好连续性。应在实现中直接安全处理端点，而不是先计算无穷或 NaN 再期待截断自动修复。[1，附录A.2、图7]

4. 软掩码为何优于只约束冻结前缀

只将前 dd 步权重设为1，其余设为0，称为硬掩码。当 dd 很小，已知前缀太短，模型可能在后续动作中切换到另一个模式；近似引导也未必精确匹配前缀。RTC因此利用全部 H−sH-s 个重叠位置。[1，§3.2、图4]

上传版本式5为

Wi={1,i<d,cieci−1e−1,d≤i<H−s,0,i≥H−s,ci=H−s−iH−s−d+1.W_i=\begin{cases} 1,&i<d,\\ c_i\dfrac{e^{c_i}-1}{e-1},&d\le i<H-s,\\ 0,&i\ge H-s, \end{cases} \qquad c_i=\frac{H-s-i}{H-s-d+1}.

近期承诺权重大，远期旧计划权重小。这样既避免彻底丢失原计划，也允许新观测改变未来动作。这里“attention”是对参考动作约束强度的解释，不代表额外插入 Transformer 注意力层。[1，式5]

附录比较指数衰减、线性衰减、不衰减及立即归零；指数方案总体最好，线性接近。另一个更便宜的方案是在每一步去噪后直接覆盖已知动作位置；它确有收益，但在该基准上低于RTC的梯度引导。这些结果支持软约束的重要性，不构成对所有任务最优衰减函数的证明。[1，附录A.4、图8]

5. 并发系统、延迟估计与 mutex

RTC维护共享状态：当前动作块 AcurA_{\rm cur}、当前观测 ocuro_{\rm cur} 和动作索引 tt。控制线程每个 Δt\Delta t 调用一次 GetAction，取出下一动作并更新观测；后台线程按最小执行跨度启动下一次引导推理。历史延迟保存到大小为 bb 的队列，预测下一次延迟时取队列最大值，实机 b=10b=10。[1，算法1、附录表4]

**mutex M\mathcal M 是互斥锁。**其作用是保证动作块、索引和观测的读写形成一致快照。例如，不能控制线程读到了新块，却仍使用旧块索引；也不能后台复制了新观测，却配上旧的未执行动作片段。条件变量 C\mathcal C 用于唤醒等待中的推理线程，并避免无意义地持续轮询。[1，算法1]

持锁区间只覆盖共享状态读取、切换和索引更新。耗时的 GuidedInference 必须在释放 M\mathcal M 后运行，否则控制线程在整个模型前向期间无法取动作，异步设计会退化成阻塞执行。推理完成后重新持锁，替换动作块，并按实际已经经过的动作步数重置索引，使新块中过时的动作不会重新执行。[1，算法1，第18—22行]

论文图3给出可行范围 d≤s≤H−dd\le s\le H-d。它表达的是必须留有足够动作覆盖推理期间，同时保持有效重叠。队列最大值是一种保守经验估计，不是对未来最坏延迟的数学上界。若某次网络或GPU延迟超过剩余可执行动作长度，就不能再仅凭RTC算法宣称满足硬实时保证；工程实现需明确队列耗尽和过期结果的处理方式。这是从调度条件得到的实现限制。[1，§2、§3.3]

6. 实验如何验证方法

6.1 Kinetix动态仿真

作者构造12个动态、随机任务，包含投掷、接住、平衡和运动控制，其中10个改自既有环境、2个新建。环境直接使用力或力矩控制，并在动作上加高斯噪声；不存在随时“保持位置”等待的通用选项，因此必须检验持续控制而非仅在静态场景暂停仿真。[1，§4.1]

每个环境先训练6个不同种子的RPO专家，再采集100万transition组成多专家数据；模仿策略使用4层MLP-Mixer、H=8H=8、32 epochs、5步去噪。每个评估点2048次rollout，报告二元成功率及95% Wilson区间；模拟延迟从0到4步。[1，§4.1、图5]

比较包括不做旧动作条件化的朴素异步、Temporal Ensembling，以及用强弱策略和拒绝采样保持跨块一致的BID。RTC在延迟增长时最稳健；软掩码尤其在小延迟/短执行跨度下优于硬掩码。TE即使零推理延迟也表现较差，支持“有效动作的平均未必有效”的多模态解释。图中主要结果以曲线给出，本总结不将目测值伪装成精确表格数字。[1，图5]

6.2 六项真实双臂任务

实机使用 π0.5\pi_{0.5}，双六自由度机械臂及平行夹爪，H=50H=50、Δt=20\Delta t=20 ms，即50 Hz；去噪5步，RTC最小执行跨度25。任务及评分如下。[1，§4.2]

任务 离散评分步骤数 时间上限
点燃蜡烛：取火柴/火柴盒、划燃、点烛、丢弃 5 40 s
插网线两端 6 120 s
整理床铺，含移动操作 3 200 s
折叠已铺平衬衫 1 300 s
从筐中取衣、展开、折叠、堆放 4 300 s
将4件物品移入水槽，含移动操作 8 300 s

每任务每配置10次，总计480个episode、约28小时机器人执行。比较同步、稀疏TE、密集TE，并添加0、100、200 ms人为延迟；TE的高延迟配置因振荡触发保护停止，未能完成执行。[1，§4.2]

主要指标有两类：累计任务进度，以及每个episode“完成比例/持续时间”形成的吞吐量。吞吐量不同于完整任务成功率，部分完成也贡献进度；论文还把排除推理停顿后的控制步数作为横轴，以检验RTC是否仅靠减少等待获益。结果显示RTC通常更早完成子步骤，提示其减少了错误与重试；在加100、200 ms条件下平均吞吐量优势达到作者报告的统计显著性。[1，图6]

6.3 应当分别报告的延迟

项目 原策略 RTC
GPU图像编码 18 ms 18 ms
GPU语言主干prefill 44 ms 44 ms
5步动作去噪 14 ms 35 ms
模型总延迟 76 ms 97 ms

RTC每步去噪需要额外自动微分，因此动作专家阶段约2.5倍延迟；总模型成本增加约21 ms。附录进一步测得RTC端到端非移动平台108.76±2.34 ms、移动平台138.98±6.71 ms，包含网络、图像resize等，明显高于纯GPU97 ms。单次推理更慢而任务执行更快并不矛盾：连续运动及减少重试可以补偿推理计算增加。[1，附录A.3、表1—3]

7. 相对前作的实质差异与局限

相对朴素异步，RTC将旧动作作为新动作生成的条件；相对TE，RTC在生成分布内部寻找与旧前缀兼容的后续，不对两条独立轨迹简单求平均；相对BID，它不需要批量候选和强弱双策略，但需要动作专家的梯度。相对模型压缩和算子优化，它处理的是计算无法在一个控制周期内完成时的执行调度与连续性。[1，§3、§5]

**动态环境分析：**RTC可以更及时吸收每次新推理启动时的观测，但推理期间已经承诺的前缀不能被它立即改写。突然出现的障碍、目标方向突变或接触状态变化，仍可能发生在该不可撤回区间内。软掩码还会在连续性和快速改变计划之间形成折中。因此，RTC降低延迟造成的不连续，不会消除感知延迟，也不提供障碍约束或动力学安全证明。

**模型依赖：**如果基础策略没有动态任务能力，RTC不能仅靠调度产生正确的运动预测；如果动作表示对延迟敏感，还要核查位置、速度和增量动作的时间对齐方式。有限步引导是近似补全，不能从“冻结前缀”的描述推导出严格满足所有轨迹约束。

8. 复现与本项目应用

**调度例子（本总结推演）。**假设控制周期二十毫秒，新观测取到后模型运行一百毫秒，执行线程会继续消费约五个旧动作。即使新块的第一个动作质量很好，也不能在返回时重新从它开始，否则会把整段计划向后平移五步。相反，如果为了避免这个问题在整个推理期间一直持有执行队列的锁，执行线程无法读取旧动作，就把异步系统变回了停顿式系统。因此，正确性同时依赖两件事：计算时使用的旧前缀与真实执行承诺一致；返回时依据实际消耗重新定位到新块有效部分。

同样，不能把生成阶段的“接近旧前缀”理解为执行线程要重放该前缀。它在新块里主要承担条件信息的角色，真正返回后执行的是尚未过去的部分。如果推理耗时出现抖动，预计冻结长度与实际消耗可能不同，保守估计、软约束范围以及最终索引更新就共同影响效果。这样的时间轴核查比只观察动作曲线视觉上是否平滑，更能识别异步实现是否正确。

官方发布了Kinetix专家训练、数据生成、流策略训练与延迟评估代码。当前仓库还包含后续训练时动作条件化工作，默认专家种子数等已出现与本论文正文不同的设置；复现本篇应固定对应代码版本，避免把后续训练方法混入“无需重新训练的RTC”结果。[2]

对本项目的OpenPI远程推理，优先复现动作块时间戳、实际消费计数、mutex临界区和延迟分布，再加入补全引导。比较至少同时包含成功率、任务进度、真实完成时间、动作一/二阶差分、GPU延迟和端到端延迟。本文只核对了原文、公式图像及官方发布说明，没有声称执行过这些实验。

参考来源

[1] 上传原文：Black et al. - 2025 - Real-Time Execution of Action Chunking Flow Policies.pdf，arXiv:2506.07339v2；PDF第2—6页理论与算法，第6—9页实验，第23—25页附录。核心定位：式1—5、算法1、图3—8、附录A.2—A.6。官方版本：官方链接 。会议入口：官方链接 。

[2] 作者官方仿真实验仓库，核对日期2026-10-09：官方链接 。作者视频/介绍入口：官方链接 。本次读取项目页受访问限制，方法与实验以可完整读取的上传PDF及官方仓库为准。