1. 论文身份与核心结论

**中文题目：强化学习能给视觉—语言—动作模型的泛化带来什么？一项实证研究。**作者为 Jijia Liu、Feng Gao、Bingwen Wei、Xinlei Chen、Qingmin Liao、Yi Wu、Chao Yu、Yu Wang，来自清华大学；前两位共同一作。论文首次发布于 2025 年 5 月 26 日，被 NeurIPS 2025 接收。本项目附件是 arXiv:2505.19789v4，2026 年 1 月 14 日修订版，共 24 页，因此应记作 2025 年研究、2026 年修订，而不是仅按文件名认定为 2026 年首次发表。[1][2]

本文的实质贡献是把“RL 是否改善 VLA 泛化”拆成可检验的三类问题：视觉外观变化、语义与目标变化、执行状态与中途扰动变化。其主实验表明，PPO 的最大收益在执行恢复，其次在语义相关任务；视觉 OOD 的绝对成功率虽提高，但相对各自分布内能力的保留率与 SFT 接近。论文提供的是特定模型、训练分布和数据来源下的系统证据，不能推广成“RL 自动解决所有泛化”。[1，§5、表1]

**版本阅读特别说明：**正文第 9 页局限仍写“所有实验在仿真中”“仅抓取放置”，但本附件附录 B.4–B.6 已增加真实 Panda 零样本部署、动作块和开门任务。总结应纳入这些后补实验，同时保留其规模与负面结果，不能照抄正文旧局限。[1，pp.9、20–24]

2. 研究问题与比较前提

SFT 用专家轨迹训练下一动作，对训练状态附近通常有效，但执行一次偏差后，机器人可能进入示范很少覆盖的状态，随后的错误进一步累积。RL 根据实际交互回报优化策略，能够访问失败抓取、偏位和恢复状态。作者要区分这种交互收益究竟主要发生在视觉识别、语言/物体理解，还是闭环执行；同时检验从语言模型直接迁移的 PPO、GRPO、DPO，是否同样适用于每一步都会改变物理场景的控制问题。[1，§1–4]

主要骨干为 OpenVLA：SigLIP 与 DINOv2 联合视觉编码，经投影连接 Llama-2 7B；每个控制决策只接收一帧 RGB 图像和语言指令，即历史长度 H=1H=1。动作由三维末端平移增量、三维旋转增量和夹爪信号构成。各标量按训练分布第 1–99 百分位区间量化为 256 个桶，再用动作 token 自回归输出。因此本研究主要面向离散动作、单步反馈 VLA；流模型的连续概率密度问题不是该主实验的难点。[1，§3.2]

比较从同一 OpenVLA 暖启动检查点出发：140 条 Octo-Small 与运动规划器示范使初始策略具备可用能力；随后 SFT 继续学习规划器数据，RL 与环境交互。RL 并非先使用完整 SFT-16k 再追加 PPO。这有助于展示少量示范启动 RL 的能力，但也意味着“相同专家数据量”“相同环境交互量”“相同算力预算”是不同公平性标准，不能仅用 140 对 16,000 的条数比较总训练成本。[1，§4.2、§5.2；3]

3. 问题形式化与关键算法

3.1 POMDP、SFT 与 RL

论文把语言条件任务建模为部分可观测马尔可夫决策过程：真实状态 sts_t 包含机器人及环境信息，观测 oto_t 为传感器输入，指令为 ll，策略写作 πθ(at∣ot−H+1:t,l)\pi_\theta(a_t\mid o_{t-H+1:t},l)。SFT 最小化示范动作预测误差；在 OpenVLA 中具体是动作 token 的交叉熵。RL 则最大化期望折扣回报：[1，§3.1]

J(θ)=Eτ∼πθ[∑t=0M−1γtR(st,l)].J(\theta)=\mathbb E_{\tau\sim\pi_\theta} \left[\sum_{t=0}^{M-1}\gamma^tR(s_t,l)\right].

这里 MM 是交互长度、γ\gamma 是时间折扣，奖励衡量抓取、保持和放置阶段，而不是动作是否像某一条专家路径。论文简写 PPO 状态条件为 sts_t；实现仍须遵守实际可观察输入，不能把完整仿真状态自动加入 VLA。[1，§3、附录A.1]

3.2 PPO 的动作概率与优势

对于一个控制动作的 da=7d_a=7 个离散 token，联合概率按自回归条件概率相乘：

πθ(at∣ot,l)=∏j=1dapθ(ut,j∣ot,l,ut,<j).\pi_\theta(a_t\mid o_t,l) =\prod_{j=1}^{d_a}p_\theta(u_{t,j}\mid o_t,l,u_{t,<j}).

这是对附录所述“各动作 token 概率乘积”的展开说明。令新旧策略比率 ρt=πθ(at∣ot,l)/πθold(at∣ot,l)\rho_t=\pi_\theta(a_t\mid o_t,l)/\pi_{\theta_{old}}(a_t\mid o_t,l)，PPO 最大化剪裁目标：[1，附录A.1，式1–2]

LCLIP=Et[min⁡{ρtA^t,clip⁡(ρt,1−ϵ,1+ϵ)A^t}],L^{CLIP}=\mathbb E_t\left[ \min\{\rho_t\hat A_t, \operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)\hat A_t\}\right],

A^t=∑k=0M−t−1(γλ)k[rt+k+γV(st+k+1)−V(st+k)].\hat A_t=\sum_{k=0}^{M-t-1}(\gamma\lambda)^k \big[r_{t+k}+\gamma V(s_{t+k+1})-V(s_{t+k})\big].

VV 是价值预测，λ\lambda 控制 GAE 的多步组合，ϵ\epsilon 限制一次更新的概率变化。价值网络提供随状态变化的基线，从而更细致地分配“接近目标、抓住、保持、放置”的时间信用。作者还测试令 γ=λ=1\gamma=\lambda=1 的 PPO-ORZ；主实验仍选择标准 PPO。[1，§4.1]

3.3 GRPO 与 DPO 实际比较了什么

GRPO 不训练显式价值函数，而在同一初始状态生成的一组 8 条轨迹内，按总结果奖励计算标准化优势 A^i=(ri−mean⁡(r))/std⁡(r)\hat A_i=(r_i-\operatorname{mean}(r))/\operatorname{std}(r)。实现使用 32 组；成功轨迹在首次放置成功处截断，失败轨迹不截断，结局分数由阶段奖励累计构成。DPO 使用轨迹级 TPO 形式，以奖励构造优选/劣选轨迹，而不是实际收集人类偏好；并且没有使用原 TPO 的 LLM 稠密评价奖励。[1，§4.1、附录A.1]

在本任务、超参数和两随机种子的算法比较中，PPO 学习明显更好。作者认为 GRPO 的轨迹级比较难以处理复杂状态演化，DPO 受稀疏偏好和离线分布偏移影响。**独立分析：**动作使状态变化并不等于转移规律本身非平稳；更准确的解释是部分可观测性、组内轨迹迅速分叉及粗粒度信用分配。实验不能证明 GRPO 对机器人普遍无效，也不能证明有更丰富偏好数据的 DPO 仍会失败。[1，§4.1；独立分析]

4. 有效 PPO 训练配方

全部 SFT/RL 方法使用秩为 32 的 LoRA，施加于 OpenVLA 线性层；价值头完整训练。演员与评论家共享 Transformer，额外三层 MLP 将最后一层首个动作 token 位置的隐藏向量 h0h_0 映射为标量价值。首位置比末位置 hnh_n 或所有动作位置拼接更稳定；独立 Transformer 评论家回报相当，但显存为 81.3 GB 对共享方案 44.4 GB，训练速度更慢。论文分别从不同参照基准给出“慢 35%”与共享方案更快的表述，复现报告应明确时间还是吞吐单位。[1，§4.2、图4]

140 条轨迹暖启动使达到收敛所需环境步数约减半，但无暖启动在充分交互后可达到类似最终回报。这说明示范主要改善探索起点，并非所有最终技能都来自示范。PPO 每批数据仅训练一轮，在该配置中已经足够；增加至 2 或 5 轮没有提高回报或样本效率，反而增加墙钟时间。主实验约需单张 NVIDIA A100 训练 42 小时。该结论属于此处的 on-policy PPO，不能直接迁移成 RLT 等离策略方法应使用更新/数据比 1。[1，§4.2、图5]

附录测试采样温度 0.5、1.0、1.5，以及 LoRA 秩 8、32、128；过大温度不利于学习，默认温度 1.0；低秩稍有效率优势，但作者保留秩 32 的容量。论文没有给出足以支持“某个秩对所有 VLA 最优”的广泛搜索。[1，附录B.1–B.2]

5. 数据、环境与泛化维度

主环境基于 ManiSkill，机器人为 WidowX-250S，输入为 640×480 RGB 和指令。训练随机化覆盖 16 类物体、16 种桌面外观，以及限定矩形内的物体和容器位置；容器默认黄色盘子，指令默认“put O on R”。奖励为抓取并持续持有正确物体的 0.1 阶段信号，以及成功放置的 1.0，因此是阶段式稀疏奖励，并非只有终点奖励。[1，§5.1、附录A.4]

测试使用 9 个新物体、16 个新容器、5 种新桌面外观、16 种干扰纹理和 16 种新语言模板，组织为 15 项 OOD 测试：[1，§5.1、附录A.4]

维度 测试变化 要区分的含义
视觉，5 项 新桌面；前景动态纹理弱/强；全图动态噪声弱/强 纹理每步裁剪缩放；混合强度为 0.3 或 0.5，不是物理场景都在运动
语义，7 项 新物体、新容器、新句式；双已见物体、双未见物体；干扰容器；双未见容器 从识别和抓取到指令消歧，不能把所有成功率提升都归因于语言理解
执行，3 项 物体/容器放在更大外围区域；随机机器人初始关节姿态；过程中移动物体 中途扰动是在第 5 个决策步瞬移目标，不是连续运动目标轨迹

SFT 数据由 MPLib 的 screw-motion 路径规划和 TOPP 时间参数化生成，再由运动学换算末端增量。为避免模型学会停滞，过滤同时满足位置增量范数小于 0.01、欧拉角增量范数小于 0.06 的动作，约删除三分之一动作。数据规模从数百增加到 64k 条轨迹，最大约 126 万 transition；在其规划器数据分布中，性能约在 16k 条后饱和，因此选 SFT-16k 作为主基线。这个饱和点不是人类示范或其他任务的普遍数据定律。[1，§5.2、附录A.2]

6. 主实验：绝对能力与相对泛化必须一起看

下表摘录附件表 1 的完整任务成功率，数值为百分比；原表还报告抓取准确率、持续抓取准确率和跨三随机种子的标准差。成功率要求最终完成放置，不能用抓取率替代。[1，表1，p.21]

设置 SFT RL/PPO 提升，百分点
分布内 IND 78.1 93.8 15.7
新桌面 71.9 84.4 12.5
前景纹理弱 / 强 71.9 / 55.7 83.3 / 63.0 11.4 / 7.3
全图噪声弱 / 强 70.8 / 50.5 85.4 / 66.7 14.6 / 16.2
新物体 45.3 71.4 26.1
新容器 61.5 75.0 13.5
新语言表述 67.2 89.1 21.9
双已见物体 61.5 75.0 13.5
双未见物体 29.7 57.8 28.1
干扰容器 67.2 81.2 14.0
双未见容器 45.8 59.9 14.1
新物体/容器初始位置 56.8 80.7 23.9
新机器人初始姿态 33.9 79.7 45.8
中途物体重定位 28.6 74.5 45.9

论文定义相对变化为 P=(OOD−IND)/INDP=(\mathrm{OOD}-\mathrm{IND})/\mathrm{IND}，负数表示下降。下表是据表 1 各分项做等权平均的独立计算，并非另外一组原文实验：[1，表1；独立计算]

维度 SFT 平均成功率 RL 平均成功率 SFT OOD/IND RL OOD/IND
视觉 64.2% 76.6% 82.2% 81.6%
语义 54.0% 72.8% 69.2% 77.6%
执行 39.8% 78.3% 50.9% 83.5%

所以“视觉鲁棒性接近”指相对分布内基线的保留率接近，绝不是两者视觉任务绝对成功率相同。执行中的机器人初姿与物体重定位有约 46 个百分点收益，且经 IND 归一化后仍然明显。相反，强纹理下 RL 的初次抓取率 80.2% 低于 SFT 的 83.9%，但最终成功率更高，提示阶段恢复能力与纯感知识别改善是两件事。[1，§5.3、表1]

正文图 6 附近称 RL 收敛时训练设置表现相当、未见物体/桌面上“better 42.6%”，并在约 0.4M 环境步后超过最强 SFT 的 OOD 曲线。该叙述与表 1 的 IND 数字并不完全对应，不能直接当作“主 OOD 比较已严格匹配 IND 能力”。也不应把未明确分母的“42.6% better”改写成增加 42.6 个百分点。表 1 分项值与归一化指标是更易核查的核心证据。[1，§5.3、图6、表1]

7. 后补实验与不能忽略的反例

**真实世界初步验证。**作者改用 Panda 并对齐相机，在含 16 个物体、7 个背景和盘子的仿真环境重新训练，再零样本部署至真实机器人；测试使用 6 个新物体和绿色碗，SFT/RL 初始条件对齐。30 次真实试验中，抓取成功率为 SFT 10%、RL 43%，完整抓取放置为 0% 对 27%。这支持仿真 RL 有可能提高迁移，但总体成功率仍低，样本很少；不等于真实环境在线训练，也不是主 WidowX 策略直接跨机器人零样本迁移。[1，附录B.4、表2]

**动作块版本。**OpenVLA-OFT 使用长度 4 的动作块，400 条未做动作过滤的暖启动轨迹；每个观测对应之后 4 步累计奖励，PPO 改为动作维度级剪裁，ϵ\epsilon 从 0.2 降为 0.1，γ=0.96\gamma=0.96、λ=0.85\lambda=0.85。IND 成功率 77.6%→89.1%；中途目标重定位 6.8%→31.8%，机器人初姿 28.1%→58.9%，执行优势仍存在。然而双未见容器 36.5%→29.7%，RL 反而下降；动态任务也没有达到单步版的全部水平。由于骨干、初始化、过滤、优化器配置同时变化，不能把两版本差距全部解释为 chunk 长度的因果效果。[1，附录B.5、表3]

**关节物体开门。**Panda 训练 8 个关节物体，任务是抓住把手并开门超过 20°；有抓住、持续 5 步和最终打开的阶段奖励。测试新背景、强噪声、4 个新关节物体、新句式、更大物体姿态变化和机器人关节扰动。IND 为 SFT 74.5%、RL 72.4%；视觉平均 64.6% 对 59.1%，语义平均 37.3% 对 38.6%，执行平均 30.0% 对 39.8%。新关节物体 4.2%→15.1% 有提高，但新句式 70.3%→62.0% 下降。因此“执行收益最稳定”比“RL 全面提升语义”更符合全部实验。[1，附录B.6、表4]

8. 机制解释、创新与局限

轨迹可视化显示 RL 访问更广的工作空间和末端朝向；其失败案例中会重新定位、重试抓取并校正动作，SFT 更常在规划器常见路径上继续执行或卡住。作者据此提出：交互状态覆盖与失败恢复是执行泛化的重要来源。**证据边界：**这些轨迹图和视频支持机制假设，但不是把探索覆盖、奖励设计、示范质量逐项隔离的因果实验，也没有直接测量内部语言表征的变化。[1，§5.4、图8–9]

研究的创新主要是可拆分的泛化基准、对 VLA 的 PPO 工程配方，以及包含失效现象的实证比较，并非新提出一种策略梯度定理。主要局限包括：SFT 示范以规划器路径为主，缺少人类自然纠错；主模型单帧、单步，无法覆盖所有流式/历史条件 VLA；主任务仍较集中；RL 额外交互改变数据分布与总预算；算法/消融仅两种子，主表三种子；真实实验小规模。语义任务同时考验抓取几何和语言指代，无法仅由成功率分离两者。后补开门和 OFT 反例进一步限制了普遍化结论。[1，§6、附录B；独立分析]

9. 对本项目动态 VLA、RL 与 Isaac Sim 行人场景的启发

**独立分析，非论文已验证结果。**最适合迁移的是评价设计：将行人外观/光照变化列为视觉维度，将导航指令与目标变更列为语义维度，将行人突然转向、机器人定位误差、延迟和路径阻挡列为执行维度。每类都同时报告绝对任务成功率、相对 IND 保留率和具体失败类型，避免基础策略更强被误读成任意 OOD 泛化更好。

本研究的物体瞬移恢复为动态闭环能力提供一个简单切口，但它不能替代对连续移动行人的碰撞率、最小距离、反应时延、让行和重新规划的评价。若 MotionBricks 提供行走动作，应由独立导航/交互规则决定根轨迹，再通过连续运动和物理场景形成扰动；不能把“中途移动物体”的模拟结果直接写成人群导航证据。动态 VLA 也应分别控制观察过期、推理延迟与动作块不可中断长度，因为这些会改变 PPO 所看到的状态与实际执行动作。

在算法选择上，可将共享价值头的 PPO 作为离散 OpenVLA 的清晰起点；流式 VLA 应再处理 π_RL 所讨论的轨迹概率，而 RLT 则选择冻结 VLA、训练小型策略与评论家。三者更新范围和数据复用机制不同，应该在相同场景扰动及预算下比较。这里的比较关系来自项目内论文的独立整合，并不是本文完成过三套方法的直接实验。

10. 复现阅读清单

复现前应固定 v4 PDF、代码提交和检查点；严格区分暖启动、SFT-16k、RL 的权重及动作归一化统计；保存动作过滤条件、LoRA 目标层、采样温度、首 token 价值头索引和 attention mask；核对 GAE 的终止/截断处理及动作 token 联合概率。测试必须保留新物体、新容器和视觉资产划分，使用对齐种子与初始条件，分别输出三个阶段指标和 IND 归一化结果。OFT 扩展需要单独记录动作块奖励与逐维剪裁，真实试验需要单独报告试验数。[1，附录A–B；3]

官方仓库公开 ManiSkill、SimplerEnv、OpenVLA 相关目录及训练、评估流程，官方模型集合包含 warm-up、RL 与 SFT-16k 检查点。本总结已核对文献和公开说明，没有声称安装、训练或运行这些代码。[3][4]

来源与定位

[1] 项目原 PDF：Liu et al. - 2026 - What Can RL Bring to VLA Generalization An Empirical Study.pdf；24 页，arXiv v4。重点：§3–4 pp.4–6；§5 pp.7–9；算法式1–5与数据附录 pp.17–19；表1 p.21；真实实验 pp.20–22；动作块 pp.21–23；开门实验 pp.22、24。官方全文：arXiv:2505.19789v4。

[2] 作者项目页：What Can RL Bring to VLA Generalization?，核对作者、NeurIPS 2025 接收信息与三维泛化定义；版本历史见 arXiv 页面。

[3] 作者代码：gen-robot/RL4VLA，核对初始化、训练流程、环境标识和动作归一化配置；当前仓库可能与论文检查点对应提交不同。

[4] 官方模型集合：gen-robot/RLVLA，包含暖启动、RL 和 SFT-16k 权重。网络核对日期：2026-10-09。