1. 论文身份与核心贡献

  • 中文译名：视觉—语言—动作模型综述：动作令牌化视角。
  • 作者：Yifan Zhong、Fengshuo Bai、Shaofei Cai、Xuchuan Huang、Zhang Chen、Xiaowei Zhang、Yuanfei Wang、Shaoyang Guo、Tianrui Guan、Ka Nam Lui、Zhiquan Qi、Yitao Liang、Yuanpei Chen、Yaodong Yang。
  • 版本：项目附件 arXiv:2507.01925v1，2025 年 7 月 2 日，70 页；正文含结论至第 45 页，后续为参考文献。首页另有 2025-7-3 排版日期，正式 arXiv 提交日期以版本记录为准。[1]
  • 研究类型：分类与分析型综述，覆盖机器人操作、导航、自动驾驶和部分虚拟环境；没有提出一套经过统一训练的新控制算法，也没有建立八类表示的统一实验排行榜。

核心贡献：以模块之间传递的动作相关表示为分析单位，将多种看似不同的系统放进同一框架。论文中的 action token 不限于离散动作编号，而包括语言计划、代码、可供性、轨迹、目标状态、潜表示、原始动作和推理中间表示八类。[1，§3]

2. 最关键的定义：这里的 token 到底是什么

作者将 VLA module 定义为最大可微子网络或不可微功能单元，把模块生成的动作相关信息称为 action token；模块内部具有明确语义的中间输出也可以属于 token。因此，运动规划器可以是模块，一张目标图像、一组接触点或一个连续动作块可以是 token。[1，PDF 第 12—14 页]

这与语言模型 tokenizer 的通常含义不同：后者经常指把文本变成词表中的整数索引；本文的 token 是一个宽泛的功能接口概念。它不要求离散、不要求单个标量，也不要求由自回归模型生成。若将本文理解成“比较八种离散量化方法”，会读错研究对象。

作者用 Hi Robot、VoxPoser、GO-1 等说明模块与表示可以组合。前者可先产生语言子任务，再生成动作；VoxPoser 可经语言与代码生成空间价值图，再由规划器求动作；GO-1 的中间接口则包含学习得到的潜动作。[1，图 1]

用以下表达可以辅助理解模块链，这不是论文新证明的概率定理：

z1∼p1(⋅∣o,ℓ),zk∼pk(⋅∣o,ℓ,z<k),A∼pa(⋅∣o,ℓ,z1:K).z_1\sim p_1(\cdot\mid o,\ell),\quad z_k\sim p_k(\cdot\mid o,\ell,z_{<k}),\quad A\sim p_a(\cdot\mid o,\ell,z_{1:K}).

oo 为观测，ℓ\ell 为任务，zkz_k 是某种中间表示，AA 是可执行动作。某些模块是确定性函数，也可以用对应的退化分布表示。实际系统允许重新读取观测、回退和循环，并不局限于单次线性链；论文在 §13.2 也主张进一步发展带记忆和反馈的图结构。

分类不互斥：同一个系统可以同时产生目标视频、轨迹和原始动作；reasoning 常用于改进其他 token；每条完整控制链最终都要到达动作接口。不能把八类直接当成八组互不重叠的模型。

3. 八类动作表示的完整对照

类别 表示内容 典型下游模块 主要收益 核心不足
语言描述 子任务、动作短语、空间命令 技能库、语言条件策略 复用语言先验，便于分解和人工修改 物理细节不充分、歧义、推理延迟
代码 API 调用、条件、循环、程序 感知与控制函数库 明确逻辑和组合能力 依赖 API 能力及实际执行前提
可供性 可交互点、区域、方向与空间分数 规划器、抓取器、条件策略 连接语义目标与物理位置 动态变化、遮挡、三维和接触信息不足
轨迹 点序列、绘制路径、光流 轨迹跟踪或动作策略 视频可提供监督，动作模式可跨任务复用 常缺姿态、受力和执行逻辑
目标状态 未来图像、点云或视频 目标条件策略、逆动力学模型 利用无动作视频和事后目标标注 生成误差、过度指定、计算成本
潜表示 经专门学习的隐动作或隐目标 本体专用解码器、动作专家 压缩行为，连接异构数据 语义纠缠、粒度与覆盖、难以检查
原始动作 关节或末端指令、动作块 机器人控制接口 直接动作监督，便于端到端学习 数据昂贵、本体差异、长任务与延迟
推理 任务分解、空间关系与决策中间步骤 上述任意表示生成器 增加可检查的中间监督与任务约束 文本未必忠实、固定模板、额外延迟

以上是对原文表 1 与 §4—11 的归纳，表示的优劣依赖任务与接口，不是统一评测后的绝对排名。[1]

4. 语言与代码：高层组合能力来自哪里

4.1 语言计划与语言运动

语言计划描述子任务，例如先收拾物体再擦桌面；语言运动描述更局部的操作，例如移动手臂或闭合夹爪。SayCan 用技能可行性修正语言候选，Inner Monologue 引入执行反馈，Hi Robot 连接高层自由语言子任务与通用低层策略，RT-H 研究细粒度动作语言的中间层。[1，§4，表 2]

它们的共同难点是下游能否执行上游生成的表达。能生成一种新子任务描述，不代表系统已经学会对应的控制技能。使用固定技能库时，泛化主要表现为已有技能的新组合；使用开放语言条件策略时，则仍取决于该策略训练覆盖和语言对齐。

自然语言适合表达逻辑和目标，却不适合在每个控制周期完整指定接触位置、旋转、速度和力。原文认为语言运动难以成为所有低层控制的主流表达，而语言计划仍适合长时域分解。这是作者的研究判断，不是已排除其他结构的理论结论。

4.2 代码表示

Code as Policies、ProgPrompt、Instruct2Act、RoboScript 等把输出变成可运行的程序或函数组合。代码能表示条件、循环和参数计算，并调用已有感知与控制工具，因此不只是把自然语言换一种格式。[1，§5，表 3]

系统成功需要三层同时成立：程序语法有效，调用逻辑合理，现实环境满足 API 的前提。例如抓取函数存在，并不能保证当前物体的几何、摩擦和可达性满足其适用条件。代码检查能发现一部分错误，但无法单独证明真实执行一定成功。

作者提出扩充可靠函数库、验证接口和运行时前提、允许人工调试。对本项目而言，这一路线适合解释上层任务编排与底层生成策略的分工；不能把调用已有控制器取得的表现全部归因于语言模型自身学会了底层控制。

5. 可供性：在什么地方以何种方式交互

论文讨论四种形式。[1，§6，表 4]

关键点给出紧凑的交互位置，必要时附方向。例如 k=(x,d)k=(x,d)，其中 x,d∈R3x,d\in\mathbb R^3 分别是位置和方向。它适合约束接触关系，但单点不会自动包含夹爪朝向、受力和碰撞条件。ReKep 等方法把关键点关系交给优化器求解。

包围盒适合定位目标实例。二维盒子可写作左上与右下角坐标，三维盒子还包含空间范围。DexGraspVLA 等再将目标定位结果转换为掩码和低层策略条件。盒子提供粗位置，不能当作精确抓取姿态。

分割掩码 M∈{0,1}H×WM\in\{0,1\}^{H\times W} 表示像素区域，比包围盒更适合描述轮廓和功能部位。但“属于某物体”与“可以按当前方式接触”仍有差别，后者需要任务和交互条件。

可供性图 F∈RH×WF\in\mathbb R^{H\times W} 或其三维扩展给出区域与动作的适合程度。VoxPoser 将语言约束转成空间图，再求轨迹；其他方法加入力、运动或接触分布。这里的分数未必经过概率校准，也未必等于真实执行成功概率。

三个研究方向分别是原生三维表示、随动作变化的可供性、对遮挡和视觉扰动的稳健处理。动态可供性的关键是可操作属性会随状态变化，例如移开障碍之后才出现可达区域。静态定位正确不能替代这种状态更新。[1，§6.5]

6. 轨迹：显式运动表示的收益与缺口

原文分成三类：[1，§7]

  • 点轨迹 P∈RT×K×2P\in\mathbb R^{T\times K\times 2}：跟踪 KK 个二维点在 TT 个时刻的位置。
  • 视觉轨迹：把路径直接绘制到图像或视频上。
  • 光流 V∈RH×W×2V\in\mathbb R^{H\times W\times 2}：表示相邻图像之间各像素的运动，可进一步构成时序光流。

ATM 利用无动作标签视频训练点运动预测，再用少量动作数据训练控制器；RT-Trajectory 让低层策略跟随视觉路径；HAMSTER 把高层二维路径与低层三维观测连接；Im2Flow2Act 从人类视频提取物体运动，并用仿真训练下游策略。[1，表 5]

轨迹能把语义不同但运动相似的任务联系起来，也允许点跟踪器自动产生监督。然而，图像运动并不唯一确定机器人动作：同一路径可能对应不同深度、姿态、速度与接触方式；相机运动也会产生光流。仅凭二维轨迹无法解决完整的六自由度操作。

应区分带时间戳轨迹与几何路径。后者只规定经过哪里，仍需确定执行速度和何时重规划。论文认为轨迹特别适合擦拭、导航等路径明确的任务；在遮挡严重、接触状态未知或必须根据外部变化改道的任务中，预先完整预测可能不足。

7. 目标状态：用未来观测指导现在的动作

单帧目标图像、RGB-D、点云或多帧目标视频均可作为中间条件。SuSIE 用图像生成器提出子目标，再由目标条件策略执行；UniPi 由视频计划连接逆动力学模型；AVDC 从生成视频抽取光流；FLIP 等还评估多个未来候选。[1，§8，表 6]

高层目标生成器能够使用无动作视频训练，下层动作映射仍需要机器人数据、物理模型或其他控制知识。不需要动作标签的是某个训练阶段，不一定是完整系统。

事后目标重标注把轨迹片段最后的观测作为前面动作的目标。这样可以自动产生目标条件训练样本，但前提是该轨迹本来包含所需动作或可用执行信息；它不会凭空恢复视频中未记录的关节控制量。

作者强调两种不同失败：[1，§8.4]

  1. 目标错误：生成不可能的接触、错误物体或不一致的空间关系，引导下层执行错误动作。
  2. 目标过度指定：目标图像包含并非任务必需的背景、姿态或纹理细节，使策略试图匹配无关变化。

综述转述 AVDC 生成八帧目标视频约需十秒、Gen2Act 约 3 Hz、VPP 约 7—10 Hz。这些数值说明当时某些实现的计算负担，不是在统一硬件上对目标状态表示进行的控制实验。由画面质量提高推导出机器人可靠性提高仍需实机验证。

8. 潜动作：三阶段训练以及最容易混淆的边界

该文将潜表示限定为经专门预训练、具有动作相关作用的紧凑向量序列，并非把任意网络隐藏层都归入此类。典型过程包括构建潜空间、训练 VLM 预测潜动作、用目标机器人数据适配动作解码器。[1，§9，图 5]

8.1 基于视觉变化

编码器从前后观测提取 zz，解码器用当前观测和 zz 重建未来观测。用示意目标表达：

z=Q(E(ot,ot+Δ)),Lrec=d(D(ot,z),ot+Δ),z=Q(E(o_t,o_{t+\Delta})),\qquad \mathcal L_{\mathrm{rec}}=d(D(o_t,z),o_{t+\Delta}),

其中 QQ 可表示量化，dd 是重建距离。具体 VQ-VAE、FSQ 或 NSVQ 的约束不同；这不是所有方法共同使用的完整损失。LAPA、GO-1、UniVLA 等沿此路线发展，UniVLA 特别尝试分开任务相关与无关变化。[1，§9.1]

关键局限是可重建的视觉变化不等于可执行的因果动作。如果 zz 同时编码相机抖动、光照和外部物体运动，下游策略就难以把它映射为稳定控制。这也说明重建误差低不能单独证明动作空间好。

8.2 基于真实动作

QueST 等直接编码和重建长度为 HH 的动作块，学习技能词表。动作监督更直接，但训练必须拥有动作标签，而且关节与末端接口的本体差异不会仅因量化而消失。[1，§9.2]

8.3 基于整体目标

GROOT、GROOT-2 等从较长交互序列学习隐目标，OmniJARVIS 把潜目标与语言、记忆和控制连接。这里的 GROOT 系列虚拟环境研究应与 NVIDIA GR00T N1 的命名区分。此类表示可能退化为轨迹细节记忆或出现后验坍缩，因而需要目标约束或语言对齐。[1，§9.3]

作者用粒度、覆盖性和任务对齐三个维度评价潜空间：过粗会丢失精细控制，过细会减弱压缩与迁移；词表覆盖不足会限制可生成行为；任务无关因素则会干扰下游。

本文标题中的 action token、本项目 RL Token 论文里提供给小型在线策略的连续状态表征、ACT 的 CVAE 风格潜变量，是不同语境。RL Token 不是本综述八类分类之外的一套新离散词表，ACT 的 zz 也不能直接解释成已学习到可复用的语义技能库。

9. 原始动作：端到端学习仍依赖精确接口

原始动作指能交给机器人接口的一步或多步命令，不限于力矩。关节角、末端增量、夹爪状态和移动底盘速度，都可能是某系统的“raw action”。[1，§10，表 8]

综述梳理了视觉语言融合、Transformer 通用策略、自回归动作分箱、视频预训练、扩散动作块、跨形态共享空间等路线。RT-2 继承 VLM 并联合训练，OpenVLA 提供可复用开源基座，π₀ 使用流匹配动作专家，RDT 与 GR00T N1 等处理多本体和多源数据。FAST 通过时序压缩改善高频离散动作的冗余，RTC 处理异步动作块之间的连续性。[1，§10.1—10.7]

“端到端”不意味着没有工程先验：传感器坐标、动作归一化、关节限制、下层控制器和数据过滤仍会决定策略效果。跨形态动作维度填充或共享码本也只是对齐步骤，不等于零样本适配所有机器人。

原文表 8 中不同频率包含动作输出、控制循环和分层系统更新等口径。特别是动作块含 HH 步时，H/TinferH/T_{\mathrm{infer}} 是动作吞吐量，1/Tinfer1/T_{\mathrm{infer}} 才对应单个串行推理循环的量级；两者都未必等于机器人部署时的新视觉反馈频率。因此该表适合找到原论文，不能直接据此排列动态响应能力。

10. 推理中间表示：可检查输出与真实执行的关系

ECoT 等在生成动作之前预测任务分解、物体定位和空间关系；RAD 将相似标注方式扩展到无动作人类视频；DriveVLM 用场景分析支持轨迹规划。[1，§11，表 9]

这些方法的实际作用是增加中间监督、改变条件分布和分配额外计算。输出文本可以帮助定位某些错误，但它不是网络内部计算过程的完整记录，文本合理也不保证动作忠实遵循。高层常识正确而低层动作失败，是必须单独评估的情况。

原文表 9 明确标记 Cosmos-Reason1、AlphaDrive 等部分方法没有完成动作落地与执行，只因相关表征研究而纳入。不能把这些模型的视觉问答或决策文本成绩当成实机控制成绩。

固定推理模板可能限制泛化；更长输出又增加时延。因此作者建议按任务复杂度调整计算，在适当层级采用多模态中间表示。其“reasoning 可增强其他 token”是结构设计方向，尚不能推出每个任务都应增加显式文本。

11. 数据、证据与研究边界

论文用三层数据结构连接表示选择：底层互联网与人类视频提供语义和视觉变化，中层仿真与合成数据提供可控任务和交互标签，上层真机数据校准实际本体与接触。[1，§12，表 10]

轨迹和潜动作方便接入视频，代码与语言便于复用基础模型知识，原始动作最接近执行监督。但所有迁移最终都需要证明：中间表示包含下游控制必需信息，训练目标与部署目标一致，接口中的误差没有破坏闭环。

表 1 的“代表性成就”包括整理、操作工具等演示，不是相同任务下的量化成绩。表 2—9 的模型、训练和硬件条目来自不同论文，不能用于归因“某种 token 本身比另一种高多少”。综述也没有控制参数规模、预训练数据量、机器人配置和评估难度等混杂变量。

作者展望包含分层组合、记忆与反馈、强化学习、灵巧硬件和多模态数据。需要限定两处表述：模仿学习不必然缺少目标条件，正文自身已介绍目标条件 BC；示范表现也不是所有训练评估分布下严格不可突破的数学上界。强化学习可以利用额外奖励和交互改善策略，但能否提升泛化及精度取决于训练任务覆盖、奖励和预算。[1，§13.3；本总结的概念限定]

12. 对本项目的连接与可执行研究问题

本项目可以按“表示—学习—执行—环境”理解，而不必强行把所有论文塞进 VLA 架构类别：

  • ACT、Diffusion Policy 与 π₀ 解释动作分布和动作块如何产生。
  • MetaVLA、π_RL、RL Token 与 RL 泛化实证解释如何用新数据或奖励改进策略。
  • RTC、FLASH、Running VLAs、VLASH、DynamicVLA、DOMINO 解释动作生成后如何利用新观测和处理延迟。
  • NavDP、FLUX 将生成策略用于导航；MotionBricks、Uni-Inter、GRAIL 研究运动与交互表示；SAGE-3D、Lyra 2.0 等提供环境表示和生成能力。

这些是本总结的跨论文联系，2025 年综述没有覆盖全部后来发表的工作。

最值得实验验证的是：在相同传感器和动作解码器下，显式轨迹、潜动作、目标图像各自保留了哪些可用信息；新增背景变化时哪个接口最稳定；高层接口多久更新一次仍不损害恢复能力；相同真实数据预算下，借助无动作视频的收益来自更多数据还是表示本身。评估应同时报告成功率、对扰动的恢复、观测到动作延迟、动作连续性和跨本体适配成本。

最终判断：这篇综述最有价值的是将动作表示视为连接模型能力、数据来源和执行接口的设计选择。八类表示具有互补关系，但作者提出的组合结构仍需任务级验证；它是一份系统分析工具，不是已经证明最优的通用机器人架构。

参考来源

[1] Zhong et al.，项目附件 arXiv:2507.01925v1，重点 §3—13、图 1 和图 5、表 1—10。论文与版本；HTML 全文；PDF。

[2] 对照阅读：ACT 原论文、Diffusion Policy 原论文、π₀ 项目所存首版。此处用于澄清潜变量、动作条件与控制接口；本项目各有独立详细总结。