机器人操作中的视觉语言动作模型：系统综述 · LFM

基本信息与总体判断

中文题目：机器人操作中的视觉—语言—动作模型：系统性综述。
作者：Muhayy Ud Din、Waseem Akram、Lyes Saad Saoud、Jan Rosell、Irfan Hussain。
版本：arXiv:2507.10672v1，2025-07-14，项目上传 28 页预印本。[1]
后续题名：作者仓库引用的期刊版题名为 Multimodal fusion with vision-language-action models for robotic manipulation: A systematic review，Information Fusion 129（2026），104062，DOI:10.1016/j.inffus.2025.104062。本篇保留上传题名，不把题名变化重复计为另一篇论文；以下原文核查也只针对上传预印本。[2]
论文自报覆盖：102 个模型、26 个数据集、12 个仿真平台。数字表示作者的收录口径，不等于当前整个领域的规模。[1，摘要]
核心价值：把模型结构、数据组成、仿真平台和评估组织在同一框架中，并提出任务复杂度—模态丰富度的数据集描述方法。其分类适合建立研究地图；部分模型和平台描述存在需要回到一手资料复核的问题，不能直接作为精确实现清单。[1；详见第 7 节]

1. 综述范围与文献筛选

论文主要面向机器人操作，同时纳入导航、GUI、游戏、移动平台和低功耗部署等相邻方向。其收录范围宽于“输入图像与语言、直接输出机械臂动作的端到端网络”。这有利于观察技术迁移，但比较时必须说明哪些条目是通用策略、哪些是模块、规划系统或数据平台。[1，§2、§7]

作者使用 IEEE Xplore、Elsevier、Springer Nature、MDPI、Wiley 与 arXiv 等进行检索，设置模型、数据集和仿真三组关键词；同时通过对话模型补充候选名称，合并去重并人工核验。是否使用对话模型本身不能决定综述有效性，关键在候选是否经过原文验证，以及筛选过程能否复现。[1，§2]

方法学评价：原文给出检索思路和纳入条件，但不能将其等同于预注册、完整列出排除理由并进行双人一致性评价的系统综述协议。跨年份增长图也同时受到收录范围、预印本覆盖和检索方式影响，不能单独解释为领域真实产出的无偏计数。[分析]

2. 模型结构的组织方式

论文以视觉编码器、语言编码器、状态表征、融合模块与动作解码器解释 VLA。一个便于比较的抽象接口是

z_v=f_v(I),\quad z_l=f_l(\ell),\quad z_q=f_q(q), \qquad A\sim p_\theta(\cdot\mid F(z_v,z_l,z_q)).

这是总结采用的接口式，非每个收录模型都严格使用三个独立编码器。观测可以是单图、多视图、历史视频、深度或其他反馈；动作可为离散 token、连续关节/末端命令、动作块或供下游执行的中间表示。[1，§4]

比较维度	主要选择	真正需要比较的问题
视觉表示	CNN、ViT、对比学习视觉骨干、融合骨干	是否保留精细空间信息，是否随机器人任务联合训练
语言表示	文本编码器、预训练 LLM/VLM	指令是否真正影响动作，还是只作为弱标签
融合	token 拼接、交叉注意力、模块分工	哪些信息在何时可见，是否发生缓存或时序错位
动作输出	自回归离散化、连续回归、CVAE、扩散或流	多模态性、精度、时间一致性和推理延迟如何权衡
训练与部署	端到端模型、组件改进、分层系统	性能来自哪部分，其他组件和数据是否相同

前两列总结论文 §4，最后一列为比较性分析。论文图 7 的示意图包含扩散动作解码，不意味着所有被列举的 VLA 都以扩散生成动作；同样，模型名称中有 Transformer，也不能据此断定其动作生成必然自回归。[分析]

3. 数据集格式与多模态对齐

论文把训练数据分为视觉、语言、动作/控制三类，并按 episode 组织。真实系统还需要保留本体状态、时间戳、传感器标定、动作定义和有效性标记。JSON、TFRecord、HDF5 等只是存储容器；文件都能被读取，并不意味着多模态已经在物理时间与坐标系上对齐。[1，§5.1；后两句为分析]

例如，若动作 $a_t$ 是在时间 $t$ 发出的目标关节位置，而图像实际在 $t-\delta$ 曝光，那么样本训练的是含延迟的映射。把它简单标为“同一帧”会隐藏闭环误差。类似地，真实关节位置与期望关节位置都可能出现在数据中，但其因果角色不同。对动态 VLA，这些信息往往比序列化格式更关键。[分析]

论文列举从导航和问答数据到多任务机器人数据、触觉和多视角数据的发展，强调规模、任务复杂性和模态丰富度同时影响研究用途。它提供的是数据地图，而非通过统一训练实验证明某数据集对所有 VLA 都更有效。[1，§5.2–5.4]

4. 两个数据集描述分数

4.1 任务复杂度

论文定义

\mathcal C_{\mathrm{task}}(\mathcal D) =\alpha_1\log(1+T)+\alpha_2S+\alpha_3D+\alpha_4L.

$T$ 表示平均动作长度， $S$ 是高层技能数量， $D\in[0,1]$ 表示任务顺序依赖， $L$ 表示语言抽象或复杂程度。原文在图示评分中将权重都设为 1，并进一步映射到 $[1,5]$ 。[1，§5.3，式 4]

对数减弱长轨迹长度的支配效应，其他项分别试图补充技能多样性、顺序约束和语言要求。该分数不是由策略最优回报或样本复杂度推导得到，因此“复杂度更高”在这里应解释为按作者选择属性得到的综合描述。[分析]

4.2 模态丰富度

论文定义

\mathcal C_{\mathrm{mod}} =\beta_1M+\beta_2Q+\beta_3A+\beta_4R, \quad Q=\frac1M\sum_{i=1}^M Q_{m_i}.

$M$ 是模态数量， $Q$ 是平均质量， $A\in[0,1]$ 为时间对齐程度， $R\in\{0,1\}$ 表示是否提供被作者视为有助推理的额外信息。原文质量分数主要基于资料和经验判断，范围约 $[0.6,0.95]$ ；权重同样取 1，最终分数映射到 $[2,5]$ 。气泡大小另表达数据规模。[1，§5.3，式 5、图 10]

这些分数能够把描述性信息放到二维图中，但其数值不应直接作为训练收益、泛化能力或数据质量的测量真值。[分析]

4.3 分数的三个技术局限

第一，单位与尺度并未天然一致。 $S$ 和 $M$ 可为多个整数，而 $D,A$ 仅在 0 到 1 之间；令所有权重为 1 不等于各因素贡献相同。应提供原始属性、归一化方式和权重敏感性。[分析]

第二，动作长度可能混合采样频率与任务难度。若相同 10 秒动作以 10 Hz 与 50 Hz 保存， $T$ 分别为 100 与 500， $\log(1+T)$ 会变化，任务语义却相同。因此必须先约定 $T$ 是控制步数、动作原语数还是高层阶段数。[分析]

第三，模态多不等于新增决策信息多。深度、点云和由同一图像派生的分割可能高度相关；增加它们会提高计数，却未必改善可观测性。需要通过任务消融验证收益，也要区分训练期真值标注与执行时可获得传感器。[分析]

5. 仿真平台与应用分析

综述将仿真平台按传感器、用途、物理能力和关联数据组织，试图覆盖室内导航、接触操作、强化学习、多机器人和数据生成。其有用原则是：视觉真实度、物理精度、运行速度和可控性分别服务不同目标，不能用一项指标代替整体适配性。[1，§6]

对 Isaac Sim/Isaac Lab 项目，至少应分别验收场景视觉、静态/动态碰撞、机器人控制、传感器时间、批量 rollout 和任务协议。模型可显示、角色可走动、传感器可输出、并行训练可运行，是不同完成条件。这一拆分是基于综述问题意识的工程分析，不是原文已给出的完整软件架构。[分析]

论文还列举操作与任务泛化、自动移动、人机协作、专用机器人、虚拟环境与低功耗部署六类应用。它们对动作空间和验证证据的要求不同，不能只因都使用视觉与语言就直接比较成功率。[1，§7.1]

6. 模型评价口径及可解释范围

论文选择十个代表模型，以成功率、零样本能力和真实机器人验证三项概括。成功率被分为 High（至少 90%）、Medium（70–90%）和 Low（低于 70%）；零样本评价则另用不同阈值。表格是对各工作已有结果的再组织，没有将所有模型重新训练并放到同一个环境和测试集里。[1，§7.2、表 5]

因此，一篇论文的“High”和另一篇的“Medium”并不构成严格胜负关系。任务难度、数据泄漏定义、任务是否在预训练中出现、允许的微调、人类辅助和终止规则都会影响结果。区间边界在原文也有重叠写法，实际复用时应规定无重叠区间。[分析]

7. 需要保留的原文核查结论

本项目的 π₀ 原始论文明确报告最高 50 Hz 的机器人控制，并单列约 73 ms 的推理计时；本综述第 19–20 页却写 π₀ 可达 200 Hz 以上。这个数字不能据此用于 π₀ 的系统配置或公平评测。本套导出以 π₀ 原文为准。[1，§7.2、表 5；3，§IV、附录 D]

综述摘要与表 3 列 12 个仿真平台，第 19 页又称 15 个；表格还把若干仿真平台与数据集关系列得过宽。例如 CALVIN 的官方实现说明使用 PyBullet，而表 3 将其列在 CoppeliaSim 下。平台关系应回到项目依赖核验，不能照搬综述列表作为安装指南。[1，§6、表 3；4]

这些具体问题不意味着整篇综述没有价值；它们限定了适用方式：适合作为检索入口、分类框架和待验证假设来源，模型参数、训练数据规模、实际平台依赖和实测速度必须以对应一手论文或仓库为准。[分析]

8. 挑战、研究空白与本项目用途

综述提出三组挑战：结构层面的模态对齐、跨机器人迁移和轨迹连续性；数据层面的任务覆盖、同步模态、标注成本与真实/合成差异；仿真层面的接触、视觉与吞吐权衡、语言任务接口和多机器人支持。[1，§8]

其对本项目最直接的作用是帮助建立评价维度。动态环境实验应至少将静态语义变化、目标运动、遮挡、动作反馈与系统延迟拆开；社交导航数据则应将行人轨迹、人体姿态、交互响应和社会规范标注分别记录。更多模态或更复杂场景只能说明测试条件改变，算法是否受益仍由控制变量实验决定。[分析]

与“动作 token 视角综述”相比，本篇更偏向模型—数据—平台的整体目录；与中文 VLA 综述相比，它明确尝试构造二维数据分数；与 RL-VLA 综述相比，它对价值学习和策略优化机制覆盖较浅。四篇综述因此可作为互补入口，但都不能取代具体算法论文的机制和实验核查。[比较分析]

参考资料

[1] 项目上传 arXiv:2507.10672v1，重点：§2，第 3–4 页；§4–6，第 6–19 页；§7–8，第 19–23 页。

[2] 作者汇总仓库。

[3] π₀ 原始论文 v1，用于核对控制频率与推理延迟。

[4] CALVIN 官方实现，用于核对仿真后端。资料核验日期：2026-10-09。