1. 论文身份与阅读范围

  • 英文题目：Survey of Vision-Language-Action Models for Embodied Manipulation。
  • 作者：李浩然、陈宇辉、崔文博、刘卫恒、刘锴、周明才、张正涛、赵冬斌。
  • 版本：本项目附件为 arXiv:2508.15201v2，2025 年 11 月 12 日，40 页；首版发布于 2025 年 8 月 21 日。附件首页注明《自动化学报》、2025 年 11 月 6 日录用，DOI 为 10.16383/j.aas.c250394，但卷期和页码仍是排版占位信息，因此不补造正式卷期。[1]
  • 类型：中文领域综述。主体截至第 27 页，后续主要为参考文献与作者介绍；它没有训练一个新的统一 VLA，也没有自行重跑所有被比较模型。

核心价值：把 VLA 从单一网络问题扩展为完整的机器人学习流程，连接模型结构、数据来源、预训练、后训练和评估五个环节；其最有用的结论是，泛化、精细操作与实时反馈需要共同设计，单纯扩大模型无法替代动作接口、交互数据与评估协议。[1，§3—9]

2. 研究问题与组织方式

传统模块化系统通过感知、规划和控制接口完成操作；VLA 尝试学习从视觉、语言及机器人状态到动作的条件映射。作者按萌芽、探索和快速发展三个阶段整理该方向，重点讨论模型从单层视觉策略走向具有大模型先验、异构数据和分层控制的系统。[1，§1—2]

该文对 VLA 采用较宽的历史口径，因此也讨论 ACT、Diffusion Policy、Octo 等相关策略。出现在 VLA 综述中不意味着一个模型原始版本一定接受自然语言指令。阅读时应区分“视觉动作策略”“带语言条件的策略”和“继承通用 VLM 的策略”，否则会把架构演进误写成所有模型都拥有相同输入能力。

下面用一个辅助表达统一五个环节，这不是原文新提出的算法：

pθ(At∣I≤t,q≤t,ℓ,e),At=(at,…,at+H−1).p_\theta(A_t\mid I_{\le t},q_{\le t},\ell,e),\qquad A_t=(a_t,\ldots,a_{t+H-1}).

其中 II 为视觉观测，qq 为本体状态，ℓ\ell 为语言任务，ee 为机器人形态或接口信息，HH 为动作块长度。模型结构决定如何表示这些变量；数据决定哪些条件被覆盖；训练决定参数如何获得；部署决定每次预测实际执行多少动作；评估决定能力声明能够外推多远。

3. 模型结构：观测、特征与动作之间的接口

3.1 观测编码

作者把感知输入分成三组。[1，§3.1，PDF 第 7—8 页]

输入 主要处理方式 能补充的信息 主要约束
RGB 图像与语言 CNN、ViT、预训练视觉语言编码器 物体外观、任务语义、场景上下文 视角变化、遮挡与空间精度
深度、点云及几何 直接三维编码、二维投影、几何位置编码 尺度、相对位置、可达空间 标定误差、三维数据不足、跨模态对齐
触觉、力/力矩 视触觉图像编码、MLP、线性投影、专家融合 接触、滑移、受力与隐藏状态 传感器差异、信号标准化、数据规模

直接训练三维编码器与把三维几何投影回二维，是不同的数据利用路线：前者保留显式空间结构，后者可以复用成熟视觉表征。触觉也不等同于力觉；视触觉传感器产生局部接触图像，腕部六维力/力矩提供整体载荷，二者的空间分辨率与可观测量不同。

3.2 特征推理骨干

综述讨论 Transformer、MoE 和 Mamba。Transformer 利于多模态关联与大规模预训练；MoE 尝试减少理解任务和动作任务之间的参数干扰；状态空间模型试图降低长序列处理成本。[1，§3.2]

这里的“推理”主要指特征计算，不必然表示生成显式推理文本。MoE 也不是自动避免遗忘的保证：路由、专家共享和训练数据比例仍决定知识是否保留。复杂度更低同样不自动意味着真实机器人端到端延迟更低，编码器、数据搬运和控制通信都可能成为瓶颈。

3.3 动作空间与分布建模是两条不同轴

动作空间讨论输出变量的物理含义：关节目标角度、末端位姿或其增量等。分布建模讨论怎样生成这些变量：离散分类、确定性回归、CVAE、扩散或流匹配。不能把“关节动作”与“扩散动作”作为互斥类别。[1，§3.3]

末端位姿接口便于不同机械臂共享任务空间，但仍需明确坐标系、单位、旋转参数化及下层求解器。关节接口减少末端到关节映射环节，却依赖本体结构。原文第 9 页把由末端位姿求关节控制量的一处过程称为“逆动力学”；若求的是目标关节配置，通常应明确为逆运动学，只有涉及力矩和运动动力学时才适用逆动力学这一术语。

离散动作包括均匀分箱、聚类与残差量化、时序压缩后分词；连续动作包括回归、CVAE、扩散与流匹配。作者强调确定性回归可能把多个可行模式平均成不可行动作，而生成模型可以表示多峰分布。其“离散训练快、连续控制精细”的概括应看作常见取舍，不能当作无条件定律：压缩方式、并行解码、采样步数、动作归一化都会改变结果。[1，第 9—10 页]

3.4 分层系统

高层负责较长时域的任务处理，低层接收较新的局部观测生成动作。层间通信可使用文本子任务、动作轨迹或隐特征。文本便于检查和复用语言先验；轨迹约束更直接；隐变量可端到端训练，但不容易解释。[1，§3.4]

原文特别区分“一个 VLM 后接动作专家”和“能单独读取新观测的低层闭环策略”。这是本项目理解 FLASH、Running VLAs、VLASH 等工作的关键：只有动作模块拥有相应观测接口，才能在高层尚未更新时针对新环境作出反馈。

4. 数据：四类来源以及各自不能直接提供什么

论文把训练数据划为互联网图文、视频、仿真机器人轨迹和真实机器人轨迹，并给出数据集与使用模型的对照表。[1，§4，表 2]

互联网图文提供物体与语言关联，却缺少机器人控制标签。视频提供过程与状态变化，但同一视觉变化不唯一决定机器人动作，也可能来自相机运动或外部物体运动。视频利用主要有三种方式：学习未来观测预测；识别人手运动并映射到机器人；学习隐动作后用机器人数据对齐。

仿真能提供动作、状态、接触和奖励等标签，同时支持环境变化与自动轨迹生成；限制来自接触、柔性物体、传感器及动力学差异。真实轨迹最接近部署分布，但采集、复位和多机器人统一成本较高。作者举出 DROID、OXE、RH20T、RoboMIND、AgiBot World 等数据资源，说明规模、模态、形态及场景覆盖是不同维度，不能用一个“总帧数”替代全部信息。[1，PDF 第 11—15 页]

数据表的使用边界：同一机器人数据可能既作为独立数据集，又包含在 OXE 或某预训练集合中，因此不能简单相加各行得到去重规模。“模型继承一个使用过某数据集的 VLM”也不同于“该 VLA 阶段直接使用该数据集”。原文已提到继承预训练权重的间接使用方式，但表格容易隐藏这种区别。

5. 预训练：数据组合和动作监督如何连接

综述归纳四类方法。[1，§5]

  1. 单一领域训练：主要依赖机器人轨迹学习策略，再用目标任务数据适配。优点是监督直接，限制是机器人数据覆盖有限。
  2. 跨域分阶段训练：先获得视觉、语言、视频或隐动作先验，再对齐真实机器人动作。风险是阶段切换后的分布变化和能力遗忘。
  3. 跨域联合训练：混合图文理解、预测和动作数据，让不同目标持续约束表征。风险是损失尺度、采样比例与共享参数竞争。
  4. 推理过程增强：监督任务分解、空间关系、目标定位等中间表示，并将其与动作生成连接。风险是标注错误及额外推理延迟。

联合训练可用下式理解，属于本总结的通用表达：

L=λaEDa[La]+λvEDv[Lv]+λpEDp[Lp].\mathcal L=\lambda_a\mathbb E_{D_a}[\mathcal L_a] +\lambda_v\mathbb E_{D_v}[\mathcal L_v] +\lambda_p\mathbb E_{D_p}[\mathcal L_p].

Da,Dv,DpD_a,D_v,D_p 分别表示动作、视觉语言和预测数据，λ\lambda 控制贡献。实际效果同时取决于采样频率、损失归一化和梯度流向，不能仅凭“有联合训练”判断其是否保留通用能力。

显式中间文本可能帮助任务分解，也可能产生与执行无关或错误的解释。综述讨论按需生成、推理丢弃和缓存中间结果等方法，反映其性能收益与实时性之间的实际冲突。输出解释文本本身不能证明动作正确或实现了可靠的物理推理。[1，§5.4]

6. 后训练：监督、强化与推理期选择

监督微调使用目标机器人示范，常见采集接口包括主从臂、人体动作映射与末端映射。它依赖示范质量和状态覆盖；轨迹中的不同动作既可能是噪声，也可能是合理多模态，不能一概当作应删除的不一致。[1，§6.1]

强化微调分为两条主要路线：一是训练小策略、残差或部分模块，再把高质量行为蒸馏回大模型；二是直接对 VLA 的可训练参数进行奖励优化。ConRFT、iRe-VLA、RLDG、RIPT-VLA 等例子覆盖不同更新范围与数据来源。“使用 RL”并不等于“整个 VLM 在实机上端到端更新”，必须查明冻结了什么、交互在哪里进行及复位成本。[1，§6.2]

推理扩展通过多个候选与评分器改进当前选择。其基本形式可写为：

A(j)∼πθ(⋅∣o,ℓ),j∗=arg⁡max⁡jQϕ(o,A(j)),A∗=A(j∗).A^{(j)}\sim\pi_\theta(\cdot\mid o,\ell),\quad j^*=\arg\max_j Q_\phi(o,A^{(j)}),\quad A^*=A^{(j^*)}.

这里 θ\theta 可以保持不变，但 QϕQ_\phi 仍可能需要大量离线数据训练。因此“不改策略权重”不等于“完全不训练任何模型”，也不等于在线强化学习。综述用 V-GPS、FOREWARN、Hume 等讨论该路线，同时指出候选采样与验证会增加计算和响应延迟。[1，§6.3]

作者总结强化后训练的三个实际瓶颈：可靠且可扩展的奖励、离线到在线的稳定价值学习、交互中的探索与成本约束。这些问题与本项目的 π_RL、RL Token 和 RL 泛化实证论文直接相接。

7. 评估框架与代表性数值

论文把泛化分为形态、任务和环境三个维度。任务泛化包括指令、目标物体与任务属性变化；环境泛化包括背景、干扰、光照和相机等变化；形态泛化涉及机器人结构及控制参数。[1，§7.1]

评估方式 主要价值 关键限制
真实机器人 检查感知、控制与接触的联合表现 成本、复位、人为差异和预训练数据覆盖不同
仿真基准 可重复、可批量、能控制变化轴 渲染和动力学偏差、任务分布有限
学习世界模型 以数据生成候选执行结果，减少真机调用 分布外动作响应、物理错误、评估器自身偏差

表 6 汇总 LIBERO 结果，例如 OpenVLA 平均 77%、OpenVLA-OFT 95%、Hume 98%；表 7 的 SimplerEnv 结果明显依任务和本体变化。例如 π₀ 在 Google Robot 的 Pick Coke Can 为 73%，在 WidowX 的 Put Carrot in Plate 为 0%。这些是综述转录的特定检查点与协议结果，不是作者在统一设置下重新训练和评估，更不能将 LIBERO 的均值当成开放环境成功率。[1，表 6—7，PDF 第 23—24 页]

表 4 汇总 RoboArena 的成对评估：π₀.₅-DROID 为 1883 分、标准差 26.1、339 次 A/B 评估；π₀-DROID 为 894 分、标准差 28.5、781 次评估。这里是相对能力评分，1883 不是成功次数或百分比，分差也不是成功率百分点。模型名称中 DROID 适配和具体动作头都属于比较条件。[1，表 4]

世界模型评估最值得保留的警惕是“看起来合理的后续视频”不等于正确的动作响应。若生成器依赖数据中的常见后续而忽略动作，它可能高估错误策略。因此需要检验动作干预响应及与真实任务排名的相关性，而不能只看画面逼真程度。[1，§7.4—7.6]

8. 核对后需要纠正或限定的内容

本总结保留综述的组织框架，但对若干具体条目不照搬：

  • 数据规模自相矛盾：第 12 页正文将 SynGrasp-1B 写为 10B 帧，表 2 写为 1B 帧；表 2 的 WebLI 描述和规模栏也不一致。引用具体规模应回到相应数据论文及版本。[1]
  • RT-2 训练路线：第 16 页有“没有直接继承 VLM 权重”的表述；RT-2 原始论文与官方项目页明确说明对预训练视觉语言模型进行 co-fine-tuning。因此不能用该综述这一句解释 RT-2 初始化。[2]
  • HPT 缩写展开错误：表 3 将 HPT 描述为分层提示微调；对应正式论文实际是 Heterogeneous Pre-trained Transformers，重点是异构输入 stem、共享 trunk 与任务 head，不能照该表实现。[3]
  • 评估基准不等于底层仿真器：LIBERO、CALVIN、RLBench 等应区分任务套件与其底层引擎。全文对“仿真器”使用较宽泛，不代表它们是同一技术层级。
  • 建议不是实验定理：诸如 SFT 适用于较低精度、RL 适用于较高精度，或世界模型更接近真实动力学，都是需要具体条件的归纳。ACT、Diffusion Policy 等已显示监督学习能完成某些精细任务；RL 和世界模型也各有失败范围。

这些核对针对项目中的 v2 附件，不推定之后的正式期刊版本仍保留相同问题。

9. 对本项目的意义与后续问题

该文适合作为全项目的中文总路线图：动作建模连接 ACT、Diffusion Policy、π₀；后训练连接 MetaVLA、π_RL、RL Token；实时性连接 RTC、FLASH、VLASH、DynamicVLA；世界模型和仿真评估连接 Lyra 2.0、SAGE-3D 等场景工作。上述关联是本总结的跨论文分析，不意味着综述已经引用所有 2026 年论文。

值得沿这条路线验证的问题包括：高层语义变化与低层视觉变化是否需要不同更新频率；同样的交互预算下，增加恢复数据和更新策略参数各贡献多少；视频生成环境能否对未见动作保持因果响应；跨形态共享的是任务语义、动作表示还是控制器能力。对应实验应固定基座、传感器、数据和预算，分别报告任务成功、恢复率、观测到动作延迟及动作平滑程度。

最终判断：这是一篇覆盖完整训练部署流程、适合建立研究索引的中文综述。它提供的分类与问题清单比逐项排行榜更可靠；使用具体算法描述、规模和基准成绩时，应回查被引论文，尤其不能把发展趋势当作已经完成的能力验证。

参考来源

[1] 李浩然等，项目附件 arXiv:2508.15201v2，全文重点 §3—9、表 2—7。论文与版本；PDF。

[2] RT-2 作者官方项目页及正式论文，核对 co-fine-tuning 与预训练初始化。项目页；CoRL 论文。

[3] Wang et al., Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers，NeurIPS 2024。正式论文；作者项目页。