面向机器人操作的视觉—语言—动作模型强化学习综述

1. 文献信息、版本与结论范围

**中文题目：面向机器人操作的视觉—语言—动作模型强化学习综述。**作者为 Haoyuan Deng、Zhenyu Wu、Haichao Liu、Wenkai Guo、Yuquan Xue、Ziyu Shan、Chuanrui Zhang、Bofang Jia、Yuan Ling、Guanxing Lu、Ziwei Wang；前三位共同一作，Ziwei Wang 为通讯作者，机构包括南洋理工大学、北京邮电大学与清华大学。[1，p.1]

论文为 2025 年 TechRxiv 预印本，DOI 10.36227/techrxiv.176531955.54563920/v1。正式页面的检索记录标注 2025 年 12 月 9 日，作者仓库新闻则写 November 2025，二者不宜混作同一发布日期。本次阅读的 20 页 PDF 从作者官方仓库取得，正文至第 15 页，后续为参考文献。**原项目提及该题名，但本次可读取的 PaperRead 附件中没有原文件，因此以同题名、同作者的官方 PDF 补齐；无法证明其与原附件字节级相同。**以下方法覆盖以该 PDF 为准，不把官方仓库 2026 年新增条目追溯成 2025 年论文已讨论的内容。[1][2]

本综述的主要价值，是将 RL-VLA 从“换一个优化器”展开为完整系统：**动作表示决定如何求策略梯度，奖励决定学什么，转移模型决定在哪试错，训练范式决定如何取得反馈，部署与评估决定是否真的可用。**它提供分类、代表方法和挑战分析，没有提出一个新的统一算法，也没有在统一预算下重跑全部模型。[1，§I、III–VII]

2. 四层分类与三个必须分开的概念

作者以四个层面组织领域：[1，图1、§III–VI]

层面	子问题	实际要作的选择
系统结构	动作、奖励、转移建模	离散 token 或生成式动作；奖励来源；物理模拟器或学习的世界模型
学习范式	Online、Offline、Test-time	是否收集新交互；是否更新参数；在哪里利用价值函数
真实部署	Sim-to-real、真实 RL	随机化/数字孪生；人类接管、恢复、重置与约束执行
评价	仿真、真实机器人、系统指标	成功之外的效率、干预、延迟、风险和复现性

**Online/offline 与 on-policy/off-policy 是不同轴。**前者描述是否在训练中取得新环境经验，后者描述更新能否使用旧策略采集的数据；在线 SAC 可以是 off-policy，离线数据初始化后再在线学习可以同时跨两个阶段。表 I 中 ConRFT 因此出现于 offline 与 online，不应机械按行数当成两篇独立论文。物理环境与世界模型也是另一个轴：在学得的世界模型里生成新 rollout 可以用于在线策略改进，但不等于新增真实机器人交互。[1，§II.B、IV、表I；解释性区分]

综述的“test-time RL”采用较宽定义，重点包括用预训练价值函数重排动作、记忆检索与规划。其 §IV 开头强调不改参数，§IV.C 又谈轻量更新/适配器；阅读具体方法时应核对到底是推理时改动作选择，还是部署时梯度训练。V-GPS 的代表性路径属于前者，不能统称为部署时重新训练大模型。[1，§IV.C]

3. 形式化基础：RL 真正更新的对象

论文式 1 使用 MDP $(\mathcal S,\mathcal A,p,r,\gamma)$，令多模态状态包含视觉观测、本体状态和任务语言，优化目标为：[1，§II.B，式1]

$J(\pi_\theta)=\mathbb E_{\tau\sim\pi_\theta} \left[\sum_{t=0}^{T}\gamma^tr(s_t,a_t)\right].$

这里 $\theta$ 是策略参数，$p$ 为动作条件转移，$\gamma$ 为折扣。**独立分析：**图像与关节状态未必满足完整马尔可夫性，遮挡、速度和接触历史可能需要历史窗口或信念状态；综述用 MDP 是便于组织算法的抽象，不能视为已解决部分可观测性。

为理解文中算法，可将 PPO 的标准目标展开为下式；这是背景算法说明，不是综述新提出的公式：[3]

$\rho_t(\theta)=\frac{\pi_\theta(a_t\mid s_t)} {\pi_{\theta_{\rm old}}(a_t\mid s_t)},\qquad L_{\rm PPO}=\mathbb E\!\left[ \min\{\rho_t\hat A_t,\operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)\hat A_t\} \right].$

优势 $\hat A_t$ 估计动作相对基线的好坏，概率比率和剪裁约束一次更新幅度。价值学习则通过“当前奖励加后继价值”形成目标。以没有熵项的动作块为解释例子，若执行 $k$ 个物理步，可写：[1，§II.B、IV.B；标准 Bellman 展开]

$y_t=\sum_{i=0}^{k-1}\gamma^ir_{t+i} +\gamma^k(1-d_t)\, \mathbb E_{A'\sim\pi}[Q_{\bar\phi}(s_{t+k},A')], \qquad L_Q=\mathbb E[(Q_\phi(s_t,A_t)-y_t)^2].$

$A_t$ 是动作块，$d_t$ 标识终止，$\bar\phi$ 可表示目标网络。该式强调时间单位：若算法把整个块视为一步并重新定义折扣，其公式可能不同；必须核对实际执行长度、奖励汇总和 bootstrap 时刻。仅说“使用 TD3/PPO”不足以复现 chunked VLA。[1，§II.B、CO-RFT 条目；独立解释]

此外，“RL-VLA”不必表示全部 VLA 参数都接受 RL 梯度。可能只训练 LoRA、动作专家、评论家、残差策略或高层选择器，也可能让小策略先学会任务，再以 BC 蒸馏回大策略。综述表 I 给出基础模型和算法，却没有统一列出冻结/更新掩码；这是使用该表选型时必须补查的关键信息。[1，表I；独立分析]

4. 动作表示如何改变算法难点

**自回归动作。**动作量化为 token 后，策略概率可以分解为条件概率乘积，或对数概率求和，因此 PPO、GRPO 等可直接构造概率比率。难点转移到量化精度、长 token 序列、信用分配及多维动作的一致性：粗桶损失精细控制，细桶增加预测难度；逐 token 剪裁与整动作联合剪裁不等价。TGRPO、CO-RFT、VLA-RL 等是综述中的代表方向。[1，§III.A.1]

**扩散/流匹配动作。**模型从噪声经过多次去噪产生连续动作块，采样方便，但最终动作的边缘密度通常难以廉价精确计算。这里应把原文“无法提供显式概率”理解为常用实现中的可计算性瓶颈，而不是数学上完全不存在密度。π_RL 构造 Flow-Noise、Flow-SDE 随机转移；FPO 使用与流匹配目标相关的替代优化量；ARFM 调节 RL 对流匹配训练的影响。生成链联合概率、最终动作边缘概率和去噪损失代理是不同对象，不能混用为同一个 exact log-probability。[1，§III.A.2；6]

**双系统。**高层模型分解目标或提出候选，低层 VLA 执行动作，RL 可以作用于二者连接处，而不必更新低层全部控制参数。Hume 的价值引导选择体现了“从多项建议中选可执行项”的作用。关键困难是时间尺度与价值不一致：语言计划看似合理，低层机器人可能根本执行不了；高层奖励要反映实际控制可达性。[1，§III.A.3]

5. 奖励与转移模型：算法之外的学习信号

作者将奖励分为内在与外在，并讨论势函数塑形、探索奖励、人类偏好、基础模型生成的奖励。势函数塑形写作：[1，§III.B]

$r'(s,a,s')=r(s,a,s')+\gamma\Phi(s')-\Phi(s).$

$\Phi$ 表示潜在进度或价值。**解释性补充：**经典策略不变性依赖相容的折扣、边界/终止处理等条件；任意距离奖励、VLM 评分或随训练任意变化的势函数，不能仅因叫“shaping”就获得同样保证。综述把势函数塑形纳入 intrinsic 是其组织方式，潜在函数也可以编码外部任务知识。[1，§III.B.1；独立分析]

探索奖励鼓励访问新状态，但新奇并不等于任务进展。人类比较或接管可以提高目标一致性，代价是标注与监控。VLM/视频模型能够提供进度、完成或相似性分数，易扩展却受遮挡、域偏移、错误语义和奖励投机影响。“无需人工逐次奖励标注”也不代表整个系统没有人类示范、重置或任务设计。[1，§III.B、V.B]

转移建模有两条路线。Isaac Sim、Gazebo 等物理引擎显式计算动作后的状态，需要可信几何、质量、摩擦和接触参数；潜在世界模型预测压缩状态，像素世界模型预测未来观测，可减少真实交互却会累积模型误差。VLA-RFT、World-Env、WMPO 将 VLA 候选动作接入预测与奖励评估。世界模型生成画面逼真，仍不保证动作因果、接触和任务成功真实；长 rollout 尤其容易让策略利用模型漏洞。[1，§III.C]

6. Offline RL：怎样超越固定示范

离线方法只使用已有数据，适合真实试错昂贵的场景。相比只拟合专家动作，RL 可以利用混合质量、失败轨迹和奖励估计，让模型偏向长期回报更高的行为。问题在于许多 VLA 数据集原为模仿学习收集，缺少奖励、可靠终止标记和失败覆盖；离线优化并不能凭空确定未观测状态—动作组合的价值。[1，§IV.B]

综述归纳两类重点：一是重构数据/奖励表示，例如 ReinboT 的回报条件、π0.6* 的价值条件及 NORA-1.5 的偏好训练；二是引入保守约束与适配架构的目标，例如 ConRFT、CO-RFT 的 Cal-QL，以及 ARFM 的生成式优化。CQL 类思想针对数据外动作过高估值，对价值函数施加保守正则；但不能简单写成“所有动作价值一律降低”，也不等于在真实数据支持之外有保证地泛化。[1，§IV.B；4]

**独立分析：**固定数据包含更多失败可以帮助区分行为质量，但前提是失败原因、奖励和时间对齐可靠。对同一任务成功/失败轨迹进行价值重加权，与发现示范中从未出现的新技能不是一回事；保守约束越强，探索外推风险越小，也越可能限制性能突破。该取舍比“离线是否优于在线”更适合作为实验问题。

7. Online RL：五个相互影响的设计面

综述将在线工作分为策略优化、样本效率、主动探索、训练稳定性和系统设施。PPO/GRPO/RLOO、稠密进度奖励、示范暖启动、残差探索与重放共同作用，不能孤立地把某张成功率图归功于算法名称。[1，§IV.A]

设计面	综述中的主要思路	需要量化的代价
策略优化	剪裁更新、价值基线、组相对优势、生成链优化	更新波动、奖励尺度、动作概率是否一致
样本效率	示范先验、进度奖励、人类纠错、小策略与蒸馏	真实交互、预训练数据、人工时间分别计费
主动探索	语义计划、潜变量、残差、失败恢复数据	有效探索率与不可逆失败率
稳定性	离线初始化、筛选 rollout、行为约束、世界模型	是否筛掉难例，是否牺牲分布覆盖
基础设施	并行环境、RLinf 等调度与多模型支持	环境步吞吐、更新吞吐与总墙钟时间

原项目的 RLVLA 实证研究表明，其 OpenVLA-PPO 通过 LoRA 和共享价值头训练，并非让任意骨干全参数 RL；π_RL 的主要微调范围又集中于动作专家。二者说明更新范围必须按论文实现核对。综述同时引用表现良好的 SimpleVLA-RL/GRPO 与另一设置下 PPO 优于 GRPO 的研究；这两类结果并不矛盾，它们依赖模型、奖励、探索配置和任务分布。[1，§IV.A；5][6]

综述提出以世界模型提高样本效率、以记忆和结构化推理支持长时序等方向。这些是研究建议，不是已证明能统一解决稀疏奖励、信用分配和可部署性的结论。[1，§VII]

8. Test-time：不更新大模型也能改变行为

价值引导先从基础策略采样 $N$ 个候选，再选择 $a^\star=\arg\max_iQ(s,a_i)$；这是对 V-GPS 类方法的解释性表达。其能力上限同时受候选覆盖和价值泛化限制：没有采到合适动作，再好的排序也无能为力；价值模型在 OOD 场景过估值，则更多采样反而可能挑中更严重的错误。[1，§IV.C；独立分析]

记忆方法检索相似经历或子轨迹，为决策提供先前成功/失败信息；规划方法以基础策略为提议器，再经模拟 rollout、MCTS 或价值评估挑选路径。BGR 类机制还可以监测价值/完成时间预测的一致性，在偏离预期时触发重试。这里的收益来自推理时计算与历史信息，而不是必然来自新参数训练。[1，§IV.C]

代价是采样、检索、模拟和评价延迟。对连续动态场景，额外规划时间会使观测过期，原本高价值的动作可能失效。因此除固定场景成功率，还应测完整感知至执行延迟与不同计算预算下的成功曲线；该系统权衡也被综述列为实时部署挑战。[1，§IV.C、VI.C]

9. 真实部署：恢复和重置也是任务成本

Sim-to-real 部分对比域随机化与数字孪生：前者通过多样变化覆盖未知真实条件，后者用场景重建和参数校准缩小特定环境差距。二者都不自动保证接触动力学或罕见状态可靠；更逼真的图像也不等于更准确的物体质量、摩擦或夹爪顺应性。[1，§V.A]

真实 RL 的人类参与被分为纠错接管、失败后恢复和任务课程设计。这有助于将“人类干预率”拆开：一次动作修正、一次摆回物体、一次重置任务，并不是同样的人工负担。无重置学习通过学习恢复策略、互为起止状态的任务或可逆行为维持连续数据采集；功能恢复允许回到可继续任务的状态，不要求精确恢复原始几何布局。语义恢复则尝试识别失败原因并规划修正。[1，§V.B]

安全探索包含风险评论家、任务分解和执行层约束。奖励惩罚不等于硬约束，VLM 语义规则也不自动转成力矩、速度或距离约束；综述强调高层语义与低层执行之间仍有缺口。实际系统需要明确哪一层真正限制机器人动作，不能只用“safe RL”标签代替可检查的机制。[1，§V.B.3]

10. 证据与评价：不能把综述排名当统一竞赛

表 II 汇总 LIBERO、Meta-World、ManiSkill、CALVIN、SIMPLER、RoboTwin 等仿真基准与机器人形态、模态、并行能力；真实部分涵盖 SERL、LeRobot、FurnitureBench、FMB 等平台。它们覆盖单臂、双臂、精细接触、长任务与泛化，但任务数、相机、终止规则、物理后端并不相同。表内数目与功能标记属于该文版本，不宜当作今天软件能力的实时清单。[1，§VI、表II]

图 3 将约十五种方法的 LIBERO Spatial/Object/Goal/Long 成功率与平均值排在一起，显示多种方法接近高成功率区间。不过综述没有提供统一重训、共同随机种子、相同初始权重、同等交互预算和逐项置信区间的实验协议；图中也没有每根柱的精确数值标签。因此可以据图认识研究进展，不能据细小柱高差认定某算法因果上优于另一算法，也不能从饱和仿真分数推断真实机器人已经接近完全可靠。[1，图3，p.14；独立分析]

作者提倡成功率、平均回报、安全成本、cycle time、episode length、干预率，并指出推理延迟和运行稳定性不足。**指标解释必须保留条件：**较短 episode 可能是快速成功，也可能是提前失败；较低干预率可能是更自主，也可能是监督更宽松。本文对 cycle time 的描述偏完整学习流程，而具体原论文也可能使用单次任务周期，应回到各自定义，不能混算。建议至少同时报告成功后的执行时间、失败后的恢复时间和含人工重置的总耗时。[1，§VI.C；独立分析]

11. 综述的贡献、局限与本项目用途

这篇综述为动作概率、反馈来源、数据采集和部署成本建立了共同语言，适合用作项目论文的目录与阅读路线。局限是分类边界较宽、直接 RL-VLA 与相关机器人技术混列、统计比较来自异构实验，且未展示严格系统综述式的检索截止、纳排流程或统一偏差评分。原文对部分算法、奖励类别和“闭环”使用的是概括性表述；例如模仿学习策略本身也可以每步闭环执行，不能把闭环控制写成 RL 独有能力。[1，图1、§III–VII；独立分析]

**对本项目的独立建议：**将各论文按“环境与数据来源—基础 VLA—更新参数—优化目标—动作块时间尺度—人工依赖—OOD 维度”建立比较表。Isaac Sim 行人环境可承担物理转移和可控扰动角色；MotionBricks 类动作生成器负责人体动作表达，而导航决策、碰撞约束与交互反馈需要另行定义。训练 VLA/RL 时应分别测试外观、语义、连续运动、延迟与恢复，报告成功率以外的最小人机距离、碰撞、反应时间和重规划代价。这些是综述框架在本项目中的应用分析，不是该文完成过行人导航实验。

复现方面，本综述没有单一模型或训练配置可直接“复现”；正确工作是固定 PDF 版本、追踪每项结论对应原论文、记录代码提交与评估条件，并选择若干方法在共同协议下重测。2026 年后的 RLT 等工作可以扩充项目比较表，但应另标年份与来源。本文已阅读全文并核对官方记录，没有执行综述所列算法或声称重新验证其成功率。

来源与定位

[1] 作者官方 PDF：RL_VLA_Survey.pdf，20 页；官方仓库中的论文。定位：背景 pp.1–3；结构 pp.3–7；分类图 p.4；方法表 p.8；训练范式 pp.7–10；真实部署 pp.10–13；基准和指标 pp.13–14；未来方向 p.15。该文件为补充取得的同题名官方全文，原项目附件版本未能逐字节核验。

[2] 正式记录：TechRxiv v1；DOI；作者官方维护仓库。正式页面检索记录日期 2025-12-09；仓库现含后续年份研究，不等同于固定 PDF 的文献范围。

[3] PPO 原论文：Schulman et al., Proximal Policy Optimization Algorithms，2017；用于说明标准剪裁策略目标，不作为综述新增贡献。

[4] CQL 原论文：Kumar et al., Conservative Q-Learning for Offline Reinforcement Learning，2020；用于说明离线价值过估计与保守学习的基本机制。

[5] 综述所引项目论文：What Can RL Bring to VLA Generalization? An Empirical Study，§4、附录A；本项目另有完整逐篇总结。此处仅补充实际参数更新范围的核对。

[6] 综述所引项目论文：π_RL: Online RL Fine-tuning for Flow-based Vision-Language-Action Models，§4–5；本项目另有完整逐篇总结。此处仅说明生成式概率对象与动作专家更新范围。网络核对日期：2026-10-09。