中文题目与文献信息

中文题目：Realtime-VLA FLASH：面向扩散式视觉—语言—动作模型的推测推理框架。

  • **作者：**Jiahui Niu、Kefan Gu、Yucheng Zhao、Shengwen Liang、Tiancai Wang、Xing Hu、Ying Wang、Huawei Li。
  • **版本：**arXiv:2605.13778v1，2026-05-13；上传 PDF 共15页，本总结以该版本为准。
  • **核心贡献：**让轻量草稿模型利用当前图像并行提出动作块，再由原模型的动作专家复用旧视觉 KV 缓存，在多个流匹配时刻并行验证；只执行通过检验的连续前缀，并在必要时返回完整推理。
  • **关键边界：**这是带额外草稿训练的推理加速方法。验证是启发式一致性检查，不是保持原模型输出分布不变的精确推测采样算法。[1，摘要、§3、附录B；2]

1. 论文试图解决哪一种延迟

π0\pi_0 类 VLA 的完整推理通常依次执行图像编码、VLM prefill，以及多步动作去噪。动作块降低了每个控制步都运行大模型的成本，却没有消除重规划时的整次前向延迟。对传送带上的物体，观测到执行之间的时间差会转化为目标位置偏差；即使同一动作块内部轨迹平滑，也可能跟踪了已经过时的位置。[1，§1、§3.1]

论文在 RTX 4090D 上测得 Torch-π0\pi_0 图像编码11.3 ms、VLM prefill 26.7 ms、动作去噪20.0 ms，合计58.0 ms。作者的 roofline 分析将前两者主要归为计算受限，将去噪归为访存受限。FLASH 因而采取两种不同策略：跳过频繁的 VLM prefill，复用缓存；将顺序去噪改为少量、并行的草稿一致性检验，以利用动作专家阶段尚未充分使用的计算资源。这一硬件分析针对指定模型和 GPU，不应直接套用到所有嵌入式设备。[1，§3.1、图2、附录表6]

2. 输入、动作与双路径系统

模型的观测为 ot=[It1,…,Itn,ℓt,st]o_t=[I_t^1,\ldots,I_t^n,\ell_t,s_t]：多相机图像、语言和最新机器人状态。预测动作块为

At=[at,…,at+H−1],A_t=[a_t,\ldots,a_{t+H-1}],

动作包含末端位置增量、旋转增量及夹爪通道。论文使用 H=50H=50，通常最多执行12步后重规划。这里50是预测长度，12是重规划执行窗口，不能把二者混用。[1，§3.1、§4.1]

完整路径用当前图像重新计算视觉特征和 VLM KV 缓存，再运行原动作专家多步积分，生成高质量动作。快速路径仍然编码当前图像，交给轻量草稿模型；验证器则使用最近一次完整路径留下的视觉语言缓存 ctc_t，加上最新机器人状态 sts_t。因此，FLASH 不是完全跳过新观测：草稿端看新图像，而验证端的视觉语义上下文可能较旧。[1，§3.2—3.4]

这一区分直接决定其动态环境风险。一个经过验证的动作，只能说明它与“旧视觉缓存＋新机器人状态”下的局部流场相容；不能仅凭通过检验，证明其已经正确理解刚刚发生的碰撞、目标替换或遮挡变化。

3. 草稿模型如何生成完整动作块

草稿网络采用一个 Gemma block 和线性动作头，约110M参数；论文比较的 VLM 主体约2.7B。输入包括当前图像编码、语言、线性投影后的机器人状态，以及 HH 个可学习动作查询。每个查询对应一个未来动作位置；动作查询之间可交互，也能访问条件前缀，从而在一次前向中生成整个块，而不逐动作自回归解码。[1，§3.3、附录A.1]

设动作查询的最终隐藏表示为 zhz_h，则

a^t+h−1d=Wactzh+bact,Ldraft=∑h=1Hwh ℓ(a^t+h−1d,at+h−1∗).\hat a^d_{t+h-1}=W_{\rm act}z_h+b_{\rm act}, \qquad L_{\rm draft}=\sum_{h=1}^H w_h\,\ell(\hat a^d_{t+h-1},a^*_{t+h-1}).

附录说明监督目标来自冻结完整策略生成的教师动作块，不应把这里简单理解成直接拟合原始示范动作。前缀加权使较可能被实际执行的前段动作获得更大权重。仿真训练为每套 LIBERO 单独训练草稿，AdamW，学习率 2×10−32\times10^{-3}，batch 64，100 epochs，Smooth L1/Huber 损失，按前12步验证 RMS 选择检查点；作者报告每个草稿训练约使用4张4090D、6小时。[1，附录A.2、表5、附录C.2]

所以“保留原模型”不等于“无需训练”。FLASH 的基础 VLA 可保持既有流匹配形式，但部署前仍需要与任务分布匹配的草稿模型。

4. 多时间步并行验证的原理

4.1 从候选终点反构造中间流状态

采用论文约定：τ=0\tau=0 为高斯噪声，τ=1\tau=1 为动作。原策略求解

dAτdτ=vθ(Aτ,τ∣c,s),A0∼N(0,I).\frac{dA^\tau}{d\tau}=v_\theta(A^\tau,\tau\mid c,s), \qquad A^0\sim\mathcal N(0,I).

给定草稿终点 A^d\hat A^d 和噪声 ϵ\epsilon，FLASH 不完整积分，而是在若干 τk\tau_k 上构造

A~τk=τkA^d+(1−τk)ϵ,\widetilde A^{\tau_k}=\tau_k\hat A^d+(1-\tau_k)\epsilon,

然后用动作专家估计局部速度，并外推到终点：

A^(k)=A~τk+(1−τk)vθ(A~τk,τk∣ct,st).\hat A^{(k)}=\widetilde A^{\tau_k} +(1-\tau_k)v_\theta(\widetilde A^{\tau_k},\tau_k\mid c_t,s_t).

所有验证时刻共享同一份噪声，多个动作专家调用可组成并行计算。若草稿与学习到的局部速度场相容，不同验证时刻重构的终点应当接近草稿。共享噪声减少了比较中额外的随机差异，但不把这种启发式变成严格正确性检验。[1，§3.4、算法1]

4.2 验证返回“最长连续前缀”

对第 hh 个动作，计算连续位置和旋转通道的距离

dh(k)=Dist⁡cont(a^hd,a^h(k)).d_h^{(k)}=\operatorname{Dist}_{\rm cont}(\hat a_h^d,\hat a_h^{(k)}).

若任一验证分支在某一步超过阈值 δ\delta，这一动作及其后方动作不进入可执行前缀。等价地，可把每个分支的前缀长度写为

L(k)=∑h=1H∏j=1h1[dj(k)≤δ],L=min⁡kL(k).L^{(k)}=\sum_{h=1}^{H}\prod_{j=1}^{h}\mathbf1[d_j^{(k)}\le\delta], \qquad L=\min_kL^{(k)}.

不能只计数“总共有多少步通过”，然后跳过失败步骤执行后面的动作；动作序列在时间上具有依赖，论文要求的是开头连续通过的部分。夹爪不是普通连续位移，另行用于阶段回退。L=0L=0 时拒绝草稿，回到完整路径刷新上下文。[1，算法1]

4.3 该验证不具备什么保证

流匹配训练的插值路径来自数据终点；验证时的插值路径来自草稿终点。如果草稿已经偏离训练分布，局部速度的一步外推仍可能恰好与它相近。附录B明确把误差来源概括为阈值、动作专家近似与一步重构误差、缓存条件失配，以及草稿路径失配。文中的

∥A^d−A∗∥≲δ+ϵAE+ϵcond+ϵpath\|\hat A^d-A^*\|\lesssim \delta+\epsilon_{\rm AE}+\epsilon_{\rm cond}+\epsilon_{\rm path}

是解释性表达，不是具备完整假设与证明的误差界。不能据此声称通过验证就等价于完整去噪输出，更不能推导出任务成功或碰撞安全保证。[1，附录B]

5. 为什么还需要阶段回退和周期刷新

论文观察到，连续草稿在自由运动中可能足够准确，但最终放置等阶段的小误差会造成任务失败。LIBERO 的夹爪开闭为两种离散模式，标准化后可按零点分开；若某个验证分支的候选块中出现夹爪模式切换，就将其视作抓取/释放附近的精细操作信号，立即调用完整路径。[1，§3.5、图5—6]

夹爪切换只是阶段代理：它不会覆盖所有需要精细视觉的接触、插入和避障情形。论文还加入周期完整刷新 PF，用于限制长期漂移。LIBERO-10 最终采用双验证时刻、δ=0.15\delta=0.15、阶段回退及每2个快速路径轮次强制完整刷新。这说明最终系统的可靠性来自草稿、验证、阶段规则和周期刷新共同作用，不能仅归功于并行验证本身。[1，§4.2、表3]

6. 实验结果与指标口径

6.1 LIBERO 主结果

四个套件各10任务，每任务50次评估，所有在线推理使用单张 RTX4090D。Lat. 为跨任务轨迹统计的平均重规划推理延迟；/Act 为摊到实际执行动作的推理成本，不是电机控制周期，也不是动作从相机到执行的总延迟。[1，§4.1—4.2、表1—2]

方法 平均成功率 平均重规划延迟 每执行动作推理成本 相对 Torch 基线加速
Torch-π0\pi_0 94.1% 58.0 ms 5.0 ms 1.00×
Triton-π0\pi_0 94.2% 39.7 ms 3.5 ms 1.46×
FLASH-π0\pi_0 93.4% 34.9 ms 3.0 ms 1.66×
FLASH＋Triton 93.8% 19.1 ms 1.9 ms 3.04×

7.8 ms 是优化后的单次快速路径成本，由图像编码4.7 ms、草稿0.9 ms、验证2.2 ms构成。完整路径仍需39.7 ms；因此不能把全程模型频率宣传成持续稳定的 1/0.00781/0.0078 Hz。最终平均19.1 ms已混合两条路径；总体3.04×包含FLASH与Triton的共同收益，不能归为单独FLASH算法收益。[1，附录表6]

FLASH＋Triton 中约66.8%的重规划走快速路径，快速路径平均接受长度约为12步窗口的69.7%。不同套件差异明显：Object快速路径比例86.4%、平均延迟12.6 ms；LIBERO-10为49.6%、24.1 ms。任务越容易在精细阶段积累误差，完整路径回退越频繁，平均加速越小。[1，表2]

6.2 消融揭示的实际代价

LIBERO-10 中，仅快速路径/验证的基础配置成功率58.4%、延迟13.3 ms；加入 PF=2 后80.6%、21.0 ms；仅加阶段回退为66.8%、17.7 ms；阶段回退与 PF=2 同时使用为84.6%、24.1 ms。最后这个成功率仍比 Torch 基线的85.2%略低，但远高于最便宜的快速路径配置。[1，表1、表3]

验证阈值的消融也表明，不存在无代价的接受：阈值宽松时更多草稿通过，Long套件性能可能明显下降；阈值收紧或验证时刻数增加时，模型更频繁退回完整路径，延迟接近甚至超过完整路径。应同时报告成功率、接受长度、快速路径比例和延迟，而不是只展示接受率高或单次验证便宜。[1，附录C.1、表7—8]

6.3 真实动态任务

平台为 UR5、两台 RealSense D435i；每种物体采集200条示范，基础策略LoRA微调20k步，再训练草稿。示范传送带速度6 m/min，测试速度10、13、15 m/min；每个物体/速度/方法仅10次试验。所有方法采用相同同步循环，特意未加入 RTC 或异步执行，以比较推理延迟的影响。[1，§4.3、附录C.2]

传送带速度 JAX：玩具狗/梳子 Triton：玩具狗/梳子 FLASH＋Triton：玩具狗/梳子
10 m/min 20% / 50% 80% / 40% 80% / 90%
13 m/min 0% / 0% 30% / 10% 50% / 30%
15 m/min 0% / 0% 0% / 0% 20% / 10%

结果支持“减少推理延迟可以扩大可完成任务的动态速度范围”，但15 m/min时20%和10%分别只对应2次和1次成功，不能解释为已实现高可靠高速抓取，也不能外推到任意随机运动或复杂接触。[1，表4]

7. 动态环境下的机制性局限

**缓存老化与验证盲区。**草稿看到了目标突然变向，验证器可能因旧KV缓存而否定正确修正；反过来，草稿若继续沿旧方向，验证器也可能认可已经过时的动作。最新机器人状态缓解本体状态过期，但不能替代最新环境状态。

**阶段规则覆盖不足。**不改变夹爪的推、擦、拨动和避障也可能高度敏感。固定刷新周期限制缓存最长寿命，却无法保证与环境变化发生时刻一致。

**可变执行前缀改变控制节奏。**接受长度短意味着更频繁重规划；如果忽略拒绝成本和完整回退，摊销延迟会被低估。与RTC结合时还要处理可变完成时间、队列剩余长度和新旧块衔接。论文把这种整合列为未来工作，而没有将其作为已完成结果。[1，附录D]

**训练与分布漂移。**草稿学习的是教师策略在训练观测上的输出。在更快运动、罕见遮挡或未见对象下，教师、草稿和缓存条件都可能偏离训练分布；相互一致不代表共同正确。应将这些分析视作待验证机制风险，而不是原文已经测出的失败率。

8. 复现要点及与本项目其他论文的关系

**怎样解释草稿验证的价值（本总结分析）。**验证器并没有看到正确答案，它提供的是比草稿更强的已学习动作先验。如果草稿输出了不合乎原策略局部动力学的动作，多个时刻的重构差异可能暴露问题；如果草稿和验证器由于共享训练偏差或旧上下文一起犯错，检验就可能无法识别。因此，实验上需要分别统计错误拒绝与错误接受：前者浪费加速机会，后者可能损害任务成功率。只提高整体接受率，既可能说明草稿变好，也可能只是阈值放松，无法独立判断系统质量。

连续前缀规则还有实际控制含义：假如前几步接近物体都可信，而随后夹爪接触附近出现分歧，执行短前缀可以换取下一次新观测，再决定精细动作。它并非简单丢弃所有不完全一致的动作块，也不是一次性承诺执行全部预测长度。但若前缀过短，下一轮重新编码和验证的开销会迅速累积；于是“快速路径比例高”仍可能伴随“每个实际动作的平均成本高”。这也是论文同时给出接受长度和摊销成本的必要原因。[1，算法1、表2；解释为本总结分析]

官方仓库提供基础/草稿检查点格式转换、草稿训练、策略服务及 LIBERO 客户端。复现需固定基础策略、草稿训练套件、验证时刻、连续通道距离的归一化、阈值、夹爪编码、周期刷新、12步执行上限，以及 Torch/Triton 后端。必须同时记录图像新鲜度、KV缓存年龄、拒绝开销与实际执行前缀；否则只测单次7.8 ms无法解释闭环任务表现。本总结完成了论文和官方说明核对，未运行代码或机器人实验。[1][2]

相对《Running VLAs at Real-time Speed》，FLASH进一步改变“哪些重规划需要运行完整模型”，不只是提高同一次完整前向的执行效率；相对ADP，它压缩的是完整语义计算调用频率和动作生成过程，而ADP主要减少视觉token；相对RTC/VLASH，它主要减少计算延迟，论文实机实验没有依靠异步隐藏延迟。对项目中的动态VLA研究，应将这些方法作为可组合但作用不同的模块分别评估。

参考来源

[1] 上传原文：Niu et al. - 2026 - Realtime-VLA FLASH Speculative Inference Framework for Diffusion-based VLAs.pdf；PDF第3—7页方法，第7—9页实验，12—15页附录；重点为算法1、表1—9、附录B的一致性解释。官方版本：官方链接 。

[2] 官方项目与代码，核对日期2026-10-09：官方链接 ；官方链接 。仓库公开了推理服务和草稿训练入口；本文未把README宣传的峰值频率当作整段闭环执行频率。