中文题目与文献信息

中文题目：DynamicVLA：面向动态物体操控的视觉—语言—动作模型。

  • **作者：**Haozhe Xie、Beichen Wen、Jiarui Zheng、Zhaoxi Chen、Fangzhou Hong、Haiwen Diao、Ziwei Liu；前两位共同第一作者。上传v1将Fangzhou误写为Fangzhong，官方元数据与代码已使用Fangzhou。
  • **上传版本：**arXiv:2601.22153v1，2026-01-29，共14页。本总结主实验按上传版本。
  • **在线更新：**2026-10-01已有v2，官方记录标注NeurIPS2026。新版对LAAS名称、推理频率和无阻塞条件作了重要澄清，本文在相关处明确指出，不混合两个版本的实验表格。[1][2]
  • **核心贡献：**紧凑多帧VLA、持续异步推理、按执行时间丢弃过期动作前缀，以及专门面向动态对象的DOM数据与评估平台。

1. 问题定义与核心区别

静态抓取允许物体在模型推理时近似不动；动态操控中，物体在感知、计算和执行期间持续运动。策略在 tt 时刻看到物体位置，并不意味着在结果返回时该位置仍可抓取。论文因此将主要挑战表述为感知—执行的时间错位，同时考虑语言指定对象、空间关系和运动特征。[1，§I、§III-A]

模型输入为

Ot={ot−k,…,ot},Lt,Pt,O_t=\{o_{t-k},\ldots,o_t\},\qquad L_t,\qquad P_t,

分别是时间窗内多视角RGB、语言指令和机器人本体状态，输出未来动作块 AtA_t。物体真实状态 sts_t 包含6D位姿和运动，属于环境潜变量；部署VLA不是直接读取仿真器的对象真值，而是由图像学习动作。真值对象状态主要用于自动示范控制器和仿真评估。[1，§III—IV]

与仅演示接笔、打球的系统不同，DOM还要求抓住指定对象并放到指定区域，对接触、语义与放置精度有要求。但“更一般”仍应限制在论文评测的刚体、桌面及机器人范围内，不能解释为任意动态操控已经解决。

2. 紧凑模型与时间视觉上下文

DynamicVLA约430M参数。视觉使用FastViT进行分层空间压缩；语言主体采用SmolLM2-360M的前16层；动作专家也是16层、隐藏维720的轻量Transformer，通过骨干产生的KV表示获取多模态条件。状态补齐为32维后投影成960维token，动作也是包含末端位姿与夹爪、其余位置补零的32维表示，默认动作长度20。[1，§III-B、附录A]

默认时间窗为 Ot={ot−2,ot}O_t=\{o_{t-2},o_t\}，每个时刻使用一个固定视角和一个腕部视角，共四张图。附录描述图像resize到384×384，并共同送入视觉编码器，输出高度压缩的36个视觉token。复现时应严格核查四幅图的拼接位置和视角顺序，不能把“多帧输入”任意替换为逐帧编码后直接拼token，因为两者结构与计算量不同。[1，附录A—B]

FastViT并不是整个网络完全没有注意力：附录明确包含早期RepMixer式混合和后期注意力。其收益是高效压缩多帧视觉表示、缩短后续多模态序列，不能将论文“避免二次增长”的说法误解为普通ViT的token数量本身随图像数平方增长；通常平方增长的是全局注意力计算。[1，§III-B、附录A]

3. 动作专家与原文公式的记号问题

动作专家采用条件流匹配，用噪声动作和多模态特征预测去噪向量场。其机制是对整段连续动作联合建模，使未来各步相关，而非逐维独立分类。[1，§III-B]

上传v1写出线性插值

Atτ=τAt+(1−τ)ϵ,ϵ∼N(0,I),A_t^\tau=\tau A_t+(1-\tau)\epsilon, \qquad\epsilon\sim\mathcal N(0,I),

并同时写 q(Atτ∣At)=N(τAt,(1−τ)I)q(A_t^\tau\mid A_t)=\mathcal N(\tau A_t,(1-\tau)I) 和目标 u=ϵ−Atu=\epsilon-A_t。这几处不能直接按同一“τ\tau递增方向”无条件解释：给定上述插值，协方差应为 (1−τ)2I(1-\tau)^2I，而路径对 τ\tau 的导数为 At−ϵA_t-\epsilon。若目标使用相反符号，采样时间方向或更新符号也应相应反转。这是原文公式内部需要核查的记号一致性问题，已对照PDF图像确认，不是文本提取漏掉符号。[1，PDF第3页，式1及其后说明]

因此，复现应联合检查训练噪声构造、损失中向量场目标、采样起止时间和积分符号。不能照抄某一行，再按另一种flow matching时间约定实现。本文保留方法机制并指出问题，没有将自行修订的公式伪装成作者代码。

4. Continuous Inference与LAAS的执行时序

4.1 持续推理负责消除块间等待

Continuous Inference，简称CI，在上一次推理完成后立即开始下一次推理，而不等当前动作块耗尽。推理和执行各自持续推进，最新的结果可以及时接管后续动作。它改变的是调度，不等于在一次正在运行的前向内部不断插入新图像。[1，§III-C]

4.2 LAAS负责执行时间索引

设动作块由时刻 tt 的观测生成，却在 t+mt+m 才返回。前 mm 个动作原本对应已经过去的时刻；LAAS将它们丢弃，从对应 t+mt+m 的位置开始执行。若多个块都对同一绝对时刻给出预测，优先使用较新块的动作覆盖旧值。[1，§III-D、图2c]

可以用时间戳表示：对于当前执行时刻 uu，从已完成的候选块中选择最新起点 tjt_j，并取 A(j)[u−tj]A^{(j)}[u-t_j]，同时要求该索引有效。这个表达是对原调度规则的统一转述，不是额外的学习模块。

v1把LAAS拼成“Latent-aware Action Streaming”，但其机制实际感知的是latency，而不是某种隐空间状态。2026-10-01的v2正文相关章节已改为 Latency-aware Action Streaming，即延迟感知动作流式执行；arXiv摘要仍保留旧词，因此不能说所有最新版元数据都已统一更名。[2]

4.3 时间对齐不等于消除观测年龄

丢弃过期动作避免把“本来应该早已执行的命令”整体延后，但剩余后缀仍由旧观测预测。如果物体在推理期间突然碰撞变向，后缀也可能错误；LAAS只能在更新的块返回后改写计划。因此，“桥接感知—执行差距”应理解为修正动作时间索引与持续更新，不是物理上将推理延迟变成零。[1，§III-D]

v1的CI说明只给 n>mn>m，但结合丢弃前缀后的持续执行，还需要旧块有效后缀覆盖下一次推理。恒定延迟下近似要求 n−m≥mn-m\ge m，即 n≥2mn\ge2m。最新v2已明确此条件，并说明默认25 Hz动作索引、20步预测对应0.8 s，0.226 s推理约6步延迟。[2]

4.4 “88 Hz”应如何理解

上传附录一处称推理约88 Hz，表III/IV却列完整块推理0.226 s，即约4.42块/秒。20/0.226≈88.5是按整块20个动作摊算的生成吞吐量，不能当作每秒使用88帧新视觉重规划。v2已直接写清0.226 s/块、25 Hz动作索引，消除了将88 Hz当成视觉闭环频率的依据。[1，附录C、表III—IV；2]

5. DOM基准：三大类、九个子维度

DOM全称Dynamic Object Manipulation，与另一篇论文的DOMINO是不同数据集。仿真包含约200K个episode、2824个场景、206种对象；真实数据约2K个episode。评估结构如下。[1，§IV]

大类 子维度 主要检验内容
Interaction Closed-loop Reactivity 对不同运动速度及时调整
Interaction Dynamic Adaptation 碰撞或扰动后适应方向变化
Interaction Long-horizon Sequencing 持续出现的对象与多步任务顺序
Perception Visual Understanding 按外观和语义识别指定对象
Perception Spatial Reasoning 按左右、区域和相对位置操作
Perception Motion Perception 按快慢、运动线索选目标
Generalization Visual Generalization 未见对象、外观及场景
Generalization Motion Generalization 未见速度、摩擦和轨迹
Generalization Disturbance Robustness 外力、碰撞、传感器或环境扰动

仿真对象来自Objaverse，场景由3D-FRONT筛选，确保可操作桌面并去掉不合理摆放。正文运动速度采样为0—0.75 m/s，图3写0—1 m/s，存在范围表述差异；应以实际采样配置为准。摩擦系数0.5—1.5，场景光照和视角随机化；相机25 FPS、480×360。[1，§IV-C、图3]

6. 自动示范采集与训练链路

仿真器提供对象6D位姿和线/角速度，驱动四阶段状态机：接近物体、抓取并抬升、靠近目标并放置、复位。接近阶段预测约0.23 s后的对象位置，末端先移动至其上方约10 cm，并随状态更新；掉落后可以回到接近状态。因此示范是闭环预测控制产生的动态轨迹，不是简单将静态示范中的物体坐标平移。[1，§IV-C、图3]

真实采集使用两台固定Azure Kinect DK及腕部RealSense D435i。EfficientTAM产生跨视角对象mask，再用几何三角测量恢复中心位置、时间窗拟合估计运动，交给相同状态机，约10 s采集一个episode，必要时人只负责启动物体运动。v1称该接口产生6D状态，但仅靠双目mask中心三角化并不足以恢复任意刚体完整姿态；具体旋转估计、对象几何先验及不可观情况需在实现中另行确认。[1，§IV-D]

训练分三阶段：150M条COYO英文图文对进行视觉语言对齐；仿真DOM进行动作训练；机器人特定真实示范进行后训练。作者报告32张A100、每卡batch40、AdamW、学习率 10−410^{-4}、1000步warmup、总约两周，分别2/10/2天。部署显存约1.8 GB不代表完整预训练成本低，也不代表单张消费GPU可以按原预算重现全部训练。[1，附录B—C]

7. 主实验结果及正确读法

仿真每方法1800次试验，等于9个维度×10场景×20次。基线均从公开预训练权重适配DOM。下表是上传v1表I。[1，§V-A、表I]

方法 平均成功率 末端路径长度 平均终止时间
Diffusion Policy 0.38% 1.34 m 10.89 s
OpenVLA-OFT 1.33% 1.08 m 10.83 s
π0\pi_0 8.11% 1.19 m 10.55 s
π0.5\pi_{0.5} 11.06% 1.28 m 10.62 s
SmolVLA 12.67% 1.30 m 10.65 s
GR00T-N1.5 13.05% 1.29 m 10.56 s
VLA-Adapter-Pro 13.61% 1.51 m 9.98 s
VLASH 12.33% 1.27 m 10.60 s
DynamicVLA 47.06% 2.50 m 8.53 s

DynamicVLA相对表中最高平均基线提高33.45个百分点。九维成功率依次为60.5、38.5、40.5、51.5、48.0、33.5、59.5、65.0、26.5%。运动感知和扰动鲁棒性仍明显低于其他维度，不能仅凭平均优势描述为已可靠解决动态操控。[1，表I]

路径越短不能直接解释为越好：失败策略可能早期停止或根本没完成抓取—放置，所以路径反而短。任务时间统计还包括超时与掉落等失败终止，不是仅在成功episode上比较完成速度。若要讨论效率，应分开成功条件下的路径/时间、失败模式和总体成功率。[1，§V-A]

真实评估覆盖Franka和PiPER、共16任务：6项交互、6项感知、4项泛化。图4—6说明每任务使用3种配对运动—目标位置配置，每配置20次，物体由第二机械臂按固定发射轨迹启动，以降低人为差异。真实扰动鲁棒性因难以稳定复现而未报告。结果主要以条形图给出，本总结不将图中横向“100”刻度误认成每项100%成功率。[1，图4—6、附录E]

8. 消融：哪些设计提供了收益

配置 成功率
FastViT，无CI、无LAAS 30.27%
有LAAS，无CI 36.11%
有CI，无LAAS 39.72%
CI＋LAAS，改用135M语言主体 26.67%
CI＋LAAS，改用1.7B语言主体 24.33%
CI＋LAAS，改用Transformer视觉编码器 28.89%
完整DynamicVLA 47.06%

在同一主体下，CI与LAAS分别改善等待和过期前缀问题，组合效果最好。主体更大不一定更好，因为表示能力和推理延迟共同决定闭环结果；不过这里不是参数规模单因素的普适缩放规律，需要结合硬件和数据。[1，表II]

时间窗从单帧变成 t−1,tt-1,t 时，成功率38.22→43.39%；改成 t−2,tt-2,t 为47.06%；再增加更多帧没有明显收益。这支持适当时间间隔有助于感知运动，而不仅是输入图像数量多。[1，附录表III]

语言层数8/16/24/32对应成功率44.17/47.06/48.44/42.11%，延迟0.127/0.226/0.317/0.373 s。24层实际最高成功率，16层是作者选择的成本折中，不能写成“16层在所有指标都最优”。将CI＋LAAS移植到既有SmolVLA可从12.67%提升到25.56%，π0.5\pi_{0.5}从11.06%到15.89%，但仍低于完整模型47.06%，说明数据、视觉上下文和模型结构同样重要。[1，附录表IV—V]

9. 与项目研究的关系及局限

**持续推理为何还需要保留足够长的预测（本总结推演）。**按新版给出的二十五赫兹索引和约二百二十六毫秒推理，一次调用期间经过约六步；二十步动作块返回时，剩余约十四步有效。接着第二轮计算再消耗约六步旧后缀，通常仍有覆盖余量。如果人为将预测块缩到八步而保持相同推理速度，返回后只剩约两步可用，下一次结果却还需约六步才能到达，动作队列就会出现空档。因此，缩短动作块未必提升反应能力，必须同时考察块长度、推理延迟和可执行后缀。

较长预测也不代表后半段都必然执行：持续更新会用新观测对应的动作覆盖未来时刻，长尾首先提供推理期间的覆盖余量。但如果新结果晚到或目标突然变向，系统可能不得不继续采用更旧的预测。评测中应记录每个真正执行动作来自哪一轮观测，这样才能区分“控制循环高频输出”与“决策已经吸收新信息”，而不是仅用动作生成吞吐量替代实时性。

相对RTC，LAAS主要按时间戳丢弃前缀并覆盖重叠动作，没有同样的梯度补全约束；相对VLASH，它没有通过专门偏移微调将未来机器人状态作为生成条件；相对FLASH，它不使用草稿—验证双路径；相对ADP，它直接面向动态对象数据和动态评估，而非仅按机器人动作进行视觉剪枝。这些差异决定可组合性，也决定不能只比较各论文的不同任务成功率来排序。

动态数据由特定状态机生成，因此策略可能继承其接近、抓取和放置模式；6D刚体假设限制对软体、布料、液体等任务的外推。模型默认短时视觉上下文，没有完整长期对象记忆或显式概率运动预测；当目标被长时间遮挡、发生未建模碰撞或动作队列耗尽时，时间对齐本身不足以保证成功。

官方仓库已给出DOM训练集、测试配置、对象和场景资产、训练检查点，以及分开的策略与IsaacLab评估入口。复现应固定版本，核查对象与场景资源完整性、时间单位、机器人delta动作语义、真实推理期间仿真是否推进，以及有效后缀覆盖条件。本总结核对了原文和官方发布说明，没有执行训练、仿真或机器人实验。[3]

参考来源

[1] 上传原文：Xie et al. - 2026 - DynamicVLA A Vision-Language-Action Model for Dynamic Object Manipulation.pdf，arXiv:2601.22153v1；PDF第3—5页方法与数据，第6—8页实验，第12—14页附录；重点为式1、图2—6、表I—V。官方链接 。

[2] 作者2026-10-01修订版及官方版本记录，核对日期2026-10-09：官方链接 ；官方链接 。仅用于确认作者拼写、LAAS名称、0.226 s/chunk、25 Hz动作索引及 n≥2mn\ge2m 条件等关键修订；主体实验表格仍按上传v1。

[3] 官方代码与项目入口：官方链接 ；官方链接 ，核对日期2026-10-09。