中文题目与文献信息

中文题目：VLASH：通过未来状态感知的异步推理实现实时视觉—语言—动作控制。

  • **作者：**Jiaming Tang、Yufei Sun、Yilong Zhao、Shang Yang、Yujun Lin、Zhuoyang Zhang、James Hou、Yao Lu、Zhijian Liu、Song Han；前两位共同第一作者。
  • **项目上传版本：**arXiv:2512.01031v1，2025-11-30，PDF共13页，含2页补充材料。本总结的方法、实验表格以此版本为主。
  • **在线版本变化：**截至2026-10-09，arXiv已有2026-07-26的v2；摘要把最大反应延迟改善由v1的17.4×改为11.8×。因此17.4×不能不加版本说明地当作最新结论。[1][2]
  • **核心贡献：**根据旧动作块估计新动作开始执行时的机器人状态，并用“当前图像＋偏移后的未来状态/动作目标”进行微调，使策略适应观测和动作执行不同时刻的情况。

1. 问题：异步之后为何仍然不稳定

动作块策略通常用当前观测和机器人状态预测未来动作：

πθ(At∣ot,st),At=[at,…,at+H−1].\pi_\theta(A_t\mid o_t,s_t),\qquad A_t=[a_t,\ldots,a_{t+H-1}].

其中 oto_t 表示图像等环境观测，sts_t 表示关节位置、末端状态或夹爪状态，HH 是预测长度，实际执行前 K≤HK\le H 步。若推理延迟为 Δ\Delta 个控制周期，朴素异步可能把原本针对 [t,t+K)[t,t+K) 的动作应用到 [t+Δ,t+Δ+K)[t+\Delta,t+\Delta+K)，而机器人在这期间已经沿旧块移动。[1，§3]

把生成与执行并行只消除了停顿，没有自动解决时间对齐。尤其是相对位移或局部动作，改变起始状态就可能改变整段实际轨迹。VLASH的思路是直接让策略针对预计执行起点生成动作，而不是等产生不连续后再平滑。[1，§4.1]

2. 未来状态感知到底预测了什么

2.1 从已知旧动作推算机器人执行起点

新推理开始时，在未来 Δ\Delta 步将执行哪些旧动作是已知的。对简单的可加状态增量，可写成

s^t+Δ=st+∑j=0Δ−1at+jold,Anew∼πθ(⋅∣ot,s^t+Δ).\widehat s_{t+\Delta}=s_t+\sum_{j=0}^{\Delta-1}a^{\rm old}_{t+j}, \qquad A^{\rm new}\sim\pi_\theta(\cdot\mid o_t,\widehat s_{t+\Delta}).

论文图3的例子为 s3=s1+a1+a2s_3=s_1+a_1+a_2。新块的第一个动作由此直接对应推理完成后的执行起点，不再机械地把基于旧状态的动作搬到未来执行。[1，§4.1、图3]

上式是特定动作语义下的表达。一般情况下，应写作按控制器状态转移 f^\widehat f 多步推进：s^j+1=f^(s^j,aj)\widehat s_{j+1}=\widehat f(\widehat s_j,a_j)。若命令是关节目标位置、速度、力矩或SE(3)位姿增量，都需要与实际控制器匹配；欧拉角不能在所有情况下直接相加。接触、饱和、跟踪误差还会使预测状态不同于真实状态。这些是部署时必须检查的假设，而非由“旧动作已知”就自动获得精确未来状态。

2.2 未来机器人状态不等于未来场景

VLASH输入的图像仍是 oto_t，不是合成的 ot+Δo_{t+\Delta}。论文明确承认未来环境未知。因此，方法主要修正机器人本体状态的时间错位；它没有显式世界模型预测物体未来位置，也没有独立输出动态对象轨迹。动态任务表现来自训练数据、异步观测更新和本体状态对齐的结合。[1，§4.1]

对匀速运动目标，旧图像可能足以结合经验推断短期变化；对碰撞后突变、外力扰动或新对象进入视野，未来状态感知不能取消环境信息过期。将它表述为“预测未来世界从而完全补偿延迟”会超出论文方法。

3. 为什么需要状态—动作偏移微调

作者发现，现有VLA可能主要依赖图像，较少利用输入的机器人状态。甚至在v1的LIBERO实验中，不提供状态的同步基线为97.7%，提供状态为96.8%。因此，仅在推理时把当前状态替换成未来状态，并不能保证模型理解这个改变。[1，§4.2、表1]

训练时从轨迹采样时间偏移 δ∈{0,…,Δmax⁡}\delta\in\{0,\ldots,\Delta_{\max}\}，保持图像固定，同时偏移状态和目标动作：

(ot,st,At)⟶(ot,st+δ,At+δ).(o_t,s_t,A_t) \longrightarrow (o_t,s_{t+\delta},A_{t+\delta}).

同一图像因配对状态不同而对应不同动作目标，使模型不能单纯依赖图像中旧的机器人姿态。偏移范围包括零，以保留同步执行能力；覆盖多种正偏移，以适应不同推理延迟。[1，§4.2]

训练并不要求重新定义流匹配或回归损失，只改变条件与标签的时间配对。可以概括为在原VLA训练损失中使用 (ot,st+δ)(o_t,s_{t+\delta}) 作为条件、At+δA_{t+\delta} 作为监督。要保持轨迹边界有效，避免偏移跨过episode末尾，也要使偏移长度覆盖实际部署分布。

**方法类别需要准确：**VLASH通常无需增加复杂网络，但不是RTC意义上的“无需任何再训练”。它依赖偏移增强微调；实机 π0.5\pi_{0.5} 还采用了可选状态投影，让数值状态以连续嵌入进入模型。补充材料把该改动解释为可选增强，不能将“核心方法架构无关”写成“所有实验实现完全没有结构改变”。[1，§5.2、补充§7.4]

4. 共享观测微调与图4

对同一图像有多个偏移目标，朴素训练会重复编码图像。VLASH把一个观测前缀和多个独立的状态—动作分支打包为

[ot,(st,At),(st+1,At+1),…,(st+Δmax⁡,At+Δmax⁡)].[o_t,(s_t,A_t),(s_{t+1},A_{t+1}),\ldots, (s_{t+\Delta_{\max}},A_{t+\Delta_{\max}})].

图4的块稀疏注意力允许每个分支访问公共视觉语言前缀和本分支token，但禁止不同偏移分支互相读取。各分支位置编码也从相同起点重新编号。这样避免一个未来目标通过另一个分支泄漏给当前目标，同时只做一次昂贵的图像前缀编码。[1，§4.3、图4]

论文举例：双图像和文本约700 token，一个状态—动作分支约50 token；打包5个偏移分支，序列长度仅增加约20%，有效状态—动作配对数量变为5倍。这里的“有效样本数”来自同一观测的不同时间偏移，统计上彼此相关，不等价于获得5倍独立场景数据。[1，§4.3]

训练效率实验在4张H100、全局有效batch64下，标准训练每步420.99 ms，共享观测为129.29 ms，即每步约3.26倍。10K/20K/30K步时标准成功率94.1/97.1/96.8%，VLASH为87.1/94.4/96.6%。因此早期按步数收敛较慢，而30K时接近；3.26×是单步耗时比，不是未经分析的“达到任意指定精度都快3.26倍”。[1，表3]

5. 动作量化与图5：加快物理动作的第二个机制

论文的action quantization不是把神经网络权重量化成INT8，也不是普通动作离散token。它将相邻 qq 个微动作聚合为一个宏动作；对可加增量动作：

a^i=∑j=0q−1aiq+j.\widehat a_i=\sum_{j=0}^{q-1}a_{iq+j}.

图5中 q=3q=3，三段小位移被一段较大位移替代，减少显式执行的中间路点。异步减少等待，动作量化进一步缩短实际运动轨迹的执行步数，因此两个机制的收益应分别统计。[1，§4.4、图5]

这种聚合会改变时间参数化与控制分辨率。如果在相同控制周期内移动更远，需要更高速度，可能触及加速度或关节约束；直达稀疏路点也可能绕过原本必要的接触过程。相对旋转需按姿态组合，夹爪开闭不能按普通位移求和。原文将 qq 视为依任务调节的速度—精度参数，并没有证明对所有动作空间通用。[1，§4.4]

6. 仿真实验与数值结果

6.1 Kinetix

沿用RTC的12项动态任务设置，流策略为4层MLP-Mixer，H=8H=8，训练32 epochs，每个点每任务1024次rollout，延迟0—4步。比较零延迟同步参考、朴素异步及RTC。在延迟4步时，VLASH平均成功率81.7%，朴素异步51.2%，提高30.5个百分点，而非相对提高30.5%。原文曲线显示VLASH在该实验中对延迟更稳健。[1，§5.1.1、图6]

这一比较也有方法条件差异：VLASH使用针对延迟增强的训练；RTC是推理时引导方法。其结果支持这套训练—部署组合有效，但不能单凭该表认定任何训练状态下的未来状态方法均优于所有RTC配置。

6.2 LIBERO

使用 π0.5\pi_{0.5}、30K微调、batch32、执行长度 K=5K=5。计时硬件为笔记本RTX4090，双图像模型推理103 ms，控制30 Hz；完成时间按论文描述的推理—执行重叠规则计算。它不是把所有测试延迟配置都当成同一硬件自然延迟。[1，§5.1.2]

方法/偏移延迟 平均成功率 平均完成步数 表列完成时间 相对同步加速
同步，有状态 96.8% 156.0 8.4 s 1.00×
同步，无状态 97.7% 157.2 8.4 s —
VLASH，1步 97.2% 153.9 7.2 s 1.17×
VLASH，2步 97.1% 157.6 6.4 s 1.31×
VLASH，3步 94.6% 167.3 5.7 s 1.47×
VLASH，4步 93.1% 176.7 5.8 s 1.45×

较大偏移可以隐藏更多推理时间，但最终准确率下降、完成步数增加，说明延迟鲁棒性有实际范围。对SmolVLA-450M，补充材料给出同步78.96%，延迟3步79.06%，表列加速1.35×；延迟4步则下降到76.09%。这里支持跨两类模型的适用性，不是无条件跨所有VLA的保证。[1，表1、补充表4]

7. 实机结果与“17.4×”的计量边界

实机平台包括Galaxea R1 Lite双臂和LeRobot SO-101。三类量化任务为取放、堆叠和按颜色分类；H=50H=50，执行跨度24步，30 Hz，延迟4步。每任务每方法16次rollout，使用两分制：抓起物体1分，完成任务再1分。因此图7的score percentage是归一化步骤得分，不是完整episode成功率。[1，§5.2.1]

v1正文报告未量化VLASH平均得分94%，同步83%，朴素异步89.7%；平均完成时间18.8 s对同步21 s，约1.12×。加入 q=2q=2 后某任务达到2.03×加速并保持接近原有得分；q=3q=3 最大2.67×，平均得分下降4.7个百分点。因此标题式的“2.03×”包含动作量化贡献，不能全部归因于异步或未来状态预测。[1，图7及§5.2.1]

v1表2另设单图像、K=25K=25、50 Hz，将同步反应延迟定义为500 ms执行窗加模型推理，异步定义为仅模型推理。RTX5090模型30.4 ms，于是530.4/30.4≈17.4；RTX4090为536.1/36.1≈14.9；RTX5070为564.1/64.1≈8.8。这是按指定调度模型和纯推理测量构成的指标，不是端到端传感器刺激—执行器响应的完整测量。[1，表2、§5.2.2]

如果事件发生在当前推理刚取完图像之后，还必须等下一次观测采样和推理；若相机存在曝光/传输延迟，实际反应会更久。因此不应把这组数值当成任意事件相位下的严格最大延迟。在线v2已将摘要最大改善改为11.8×；本总结保留v1数字只是为了对应本项目上传材料，不混用新旧版本。[2]

乒乓球和打地鼠展示了需要快速反应的动态任务，补充材料说明演示约15 Hz推理。但上传v1没有给出足以统计球速范围、连续回合分布、每条件试验数及置信区间的完整量化表，因而宜视为能力演示，不能等同于标准化动态操控benchmark已被全面解决。[1，§5.2.2、补充§7.3]

8. 局限、复现与本项目意义

**偏移样本为什么不是随意错配标签（本总结分析）。**相同图像可能配对两个未来状态：一组表示机器人尚未接近目标，另一组表示它已经沿已知旧动作靠近目标。相应动作应分别从这两个状态开始继续任务，而不是把同一旧动作复制给所有状态。因此，必须同时偏移状态与动作，才能让网络学到“相同视觉条件下，身体所处执行阶段不同，下一动作也不同”。只偏移动作会缺少解释变化的状态条件；只偏移状态却不改标签，则会训练出对状态变化不敏感的映射。

这种训练仍依赖轨迹中的未来动作适合与较早视觉配对。如果目标在两时刻之间发生不可预测变化，早图像并不包含足够信息来唯一决定后面的动作，条件分布可能变得更宽。增加偏移长度会强化模型利用状态的压力，也会增大环境信息过期，两者之间存在折中。若再加入动作量化，机器人在一次推理期间可能移动得更远，原先按控制步定义的偏移范围也需重新核对；不能保持所有时间参数不变，却把更快执行带来的分布变化归结为随机误差。

第一，状态推进精度取决于动作表示、低层控制器和延迟估计；接触或高加速度运动使“执行命令＝实际状态变化”的假设更脆弱。第二，未来状态训练使用轨迹中的真实未来状态，部署输入则为估计未来状态，两者存在分布差异。第三，状态偏移解决本体时序，不保证对象未来运动可识别；速度等隐变量仍可能需要多帧、光流或动态数据。第四，动作量化对精细接触和安全余量可能有代价，不能只按完成时间选 qq。这些是机制分析，不是论文已测出的统一失败概率。

官方仓库提供训练和异步运行配置，并包含随时间更新的模型支持。复现时应固定v1/v2及代码提交，核查偏移分布、未来状态构造、延迟单位、注意力分支隔离、位置编码重置、状态是否经过连续投影，以及量化后的执行周期。对于Kinetix，还应确认状态推进使用的信息与目标部署条件相符，不把可读取的仿真未来状态无说明地当成真实机器人可得输入。[1][3]

与RTC相比，VLASH把延迟适应更多放到微调样本构造中，减少推理时梯度引导；与FLASH相比，它没有依靠旧KV下的草稿验证；与DynamicVLA相比，它重点是未来本体状态条件化。对项目中的动态VLA研究，值得单独消融“异步本身”“状态偏移训练”“未来状态输入”和“动作量化”，避免把不同来源的收益合为一个实时性能数字。本文未运行仓库或机器人测试。

参考来源

[1] 上传原文：Tang et al. - 2025 - VLASH Real-Time VLAs via Future-State-Aware Asynchronous Inference.pdf，arXiv:2512.01031v1；PDF第3—5页方法，第6—8页实验，第12—13页补充材料。官方链接 。

[2] arXiv官方版本记录，核对日期2026-10-09：官方链接 。v2更新日期2026-07-26；本文仅用其确认版本与摘要指标变化，未将v2实验结果填入v1表格。

[3] 作者官方仓库：官方链接 ，核对日期2026-10-09。