1. 文献信息与核心结论

  • 中文题目：RL Token：利用视觉—语言—动作模型引导在线强化学习。
  • 作者：Charles Xu、Jost Tobias Springenberg、Michael Equi、Ali Amin、Adnan Esmail、Sergey Levine、Liyiming Ke；Physical Intelligence。
  • 年份与版本：2026。项目附件为13页论文，未在首页标出arXiv版本；官方博文发表于2026年3月19日，arXiv:2604.23073首次提交于2026年4月24日。这里以项目附件的正文与附录为分析对象，不把博文日期与预印本提交日期混为一谈。[1][2][3]
  • 研究对象：真实双臂操作中的关键精细操作阶段，包括拧螺丝、穿扎带、插网线及插充电器。方法简称RLT。

论文的核心贡献是一个适合小数据在线RL的VLA接口：先从VLA内部token学习一个紧凑表征，再冻结VLA及该表征，仅在线训练小型actor和critic。VLA同时提供状态表征与参考动作，RL利用环境奖励对参考动作附近的行为进行改进。它既不是在线更新整个大模型，也不只是从VLA动作上叠加一个固定形式的残差。[1，§IV–V]

2. 问题、前作瓶颈与适用范围

通用VLA能够处理物体识别、抓取、搬运等较宽泛行为，但接触阶段的小误差可能决定任务成败。例如，螺丝刀握持点至刀尖约10厘米，使末端姿态误差在刀尖处放大；扎带同时涉及双臂协调、可变形物体和狭窄插入口。示范数据可以提供基本策略，却未必覆盖接触边界附近的纠错行为，也未必包含最快完成任务的策略。[1，§I、VI-A]

直接对十亿参数量级VLA做在线RL有两个困难：训练计算成本高；真实机器人数据有限，优化高维视觉表征和大规模策略需要大量交互。相反，传统小模型在线RL虽然更新便宜，却可能缺少VLA预训练得到的操作相关视觉信息。此外，50 Hz控制下几百步的稀疏奖励问题使单步价值传播变慢。RLT同时处理表征、行为先验及时间尺度三个问题。[1，§II–IV]

论文集中改进每个任务中最困难的阶段。完整任务通常持续30–120秒，而关键阶段约5–20秒。不能将“几分钟数据就能改进”理解成从零学会整个长任务：初始VLA已经经过任务示范微调，且容易部分继续交由VLA执行。[1，§V–VI]

3. 形式化输入输出与RL token

3.1 VLA动作与RL动作的时间尺度

基础模型为π0.6。输入包括多路相机、固定任务指令和本体状态，VLA产生长度为H=50H=50的动作块，在50 Hz下对应1秒参考动作。RLT实际预测及执行长度为C=10C=10的动作块。每步动作14维，因此actor输出的动作块为140维。区分HH与CC很重要：VLA预测范围、RL价值函数的决策单位与机器人底层控制周期不是同一量。[1，§III、VI、附录B]

令z1:M=fθvla(s,ℓ)z_{1:M}=f_{\theta_{\mathrm{vla}}}(s,\ell)为VLA最终层token，ss表示观测，ℓ\ell为指令。追加可学习特殊token erle_{\mathrm{rl}}，由一个小型Transformer编码器读取：

zrl=gϕ([z1:M,erl])M+1.z_{\mathrm{rl}}=g_\phi([z_{1:M},e_{\mathrm{rl}}])_{M+1}.

这对应论文式(1)。图2中的RL token为一个2048维向量。实验中每个任务的语言指令固定，因此这一压缩步骤省去语言embedding；这不意味着一般VLA任务中的语言都可以删去。[1，§IV-A、图2]

3.2 压缩训练并不使用RL奖励

编码器—解码器通过重建VLA特征训练。令zˉi=sg⁡(zi)\bar z_i=\operatorname{sg}(z_i)，即对原始特征停止梯度；解码器以RL token及前面位置的真实特征为条件，自回归重建：

Lro=ED∑i=1M∥hϕ ⁣(dϕ([zrl,zˉ1:i−1]))i−zˉi∥22.\mathcal L_{\mathrm{ro}}= \mathbb E_{\mathcal D}\sum_{i=1}^{M} \left\|h_\phi\!\left(d_\phi([z_{\mathrm{rl}},\bar z_{1:i-1}])\right)_i-\bar z_i\right\|_2^2.

这对应论文式(2)。任务示范阶段可以同时优化Lro+αLvla\mathcal L_{\mathrm{ro}}+\alpha\mathcal L_{\mathrm{vla}}；但重建损失本身不更新VLA特征目标。之后θvla\theta_{\mathrm{vla}}和ϕ\phi都被冻结。[1，§IV-A、算法1]

机制解释：重建目标要求单个token保留能够恢复操作相关特征的信息，形成小型RL网络可读取的信息瓶颈。但论文没有证明该token是MDP的充分统计量，也没有保证被压缩掉的信息与未来奖励无关。重建误差小与价值估计充分性是不同命题；证据来自后续任务表现及消融，而非表征充分性定理。

4. 在线actor–critic机制

4.1 动作块critic与TD目标

RL输入状态为x=(zrl,sp)x=(z_{\mathrm{rl}},s^p)，sps^p为本体状态。critic Qψ(x,a1:C)Q_\psi(x,a_{1:C})评价一个完整动作块，论文式(3)为：

LQ=EB[Q^−Qψ(x,a1:C)]2,Q^=∑j=1Cγj−1rj+γCEa′∼πθQψ′(x′,a′).\mathcal L_Q=\mathbb E_{\mathcal B} \left[\widehat Q-Q_\psi(x,a_{1:C})\right]^2, \qquad \widehat Q=\sum_{j=1}^{C}\gamma^{j-1}r_j+ \gamma^C\mathbb E_{a'\sim\pi_\theta}Q_{\psi'}(x',a').

B\mathcal B为回放池，ψ′\psi'是目标网络参数。附录实现采用两个Q网络，bootstrap使用两者较小值，并以两次critic更新对应一次actor更新。[1，§IV-B、V、附录B]

解释性推导：若基础折扣按50 Hz单步定义，则一个长度CC的块之后应使用γC\gamma^C，前面的奖励也必须逐步折扣。这正是把CC个物理时间步聚合为一次决策所产生的Bellman关系。遇到终止时应消除后继bootstrap；若块提前结束，实施时还需一致处理实际持续步数。后两点是复现时根据MDP定义应检查的事项，并非论文另提出的算法。

4.2 参考动作条件化与BC约束

冻结VLA采样参考块a~1:C\tilde a_{1:C}，actor输出高斯策略：

πθ(a1:C∣x,a~1:C)=N(μθ(x,a~1:C),σ2I).\pi_\theta(a_{1:C}\mid x,\tilde a_{1:C})= \mathcal N\big(\mu_\theta(x,\tilde a_{1:C}),\sigma^2I\big).

这是论文式(4)，标准差较小且固定。actor通过式(5)优化：

Lπ=E[−Qψ(x,a1:C)+β∥a1:C−a~1:C∥22].\mathcal L_\pi= \mathbb E\left[-Q_\psi(x,a_{1:C})+ \beta\|a_{1:C}-\tilde a_{1:C}\|_2^2\right].

第一项推动高回报动作；第二项将策略约束在VLA已知的行为附近。β\beta过强会限制改进，过弱则使早期不准确的Q函数主导高维动作探索。这里是对参考动作样本的平方距离约束，不应无条件称为“精确的策略分布KL”。[1，§IV-B]

参考块进入actor输入还有另一个作用：VLA可能对同一观测产生多种合理动作模式，单个无条件高斯actor难以同时表达这些模式；给定一份VLA样本，相当于明确告诉actor当前要改进哪个模式。actor输出完整块，论文未要求其始终满足“原动作加有界残差”的结构。[1，§IV-B]

4.3 参考动作dropout

输入参考块与BC约束都鼓励actor模仿参考，可能使其只复制VLA而忽略状态。训练时以50%概率把输入参考块置零，迫使actor同时形成由状态直接产生动作的路径；推理时始终提供参考动作。这里dropout作用于输入条件，不等于删除该样本的BC监督目标。[1，§IV-B、附录B]

5. 完整训练流程与人机接管

  1. 任务示范与表征预训练：每任务采集1–10小时遥操作示范，微调VLA并训练RL token，附录给出约2000–10000梯度步。
  2. warmup：先执行基础VLA，将相对可靠的动作和结果放入回放池，让critic有初始学习信号。
  3. 在线rollout：每个动作块边界计算RL token及VLA参考块，再由actor输出块。
  4. 接管：操作者可用遥操作动作替换实际执行动作；该段数据入池时，人类动作也替换原VLA参考动作，因此正则化会约束到人类纠正，而不再约束回原来的错误建议。
  5. 回放更新：混合VLA warmup、RL自主数据及接管数据；采样步幅为2个控制步的重叠动作块，每秒约得到25个训练样本。rollout与学习异步执行，论文采用较高的更新/数据比5。
  6. 阶段切换：训练时由人选择关键阶段起点并标注成功/失败；末尾可以再短暂微调VLA预测何时转交RL，从而支持测试时自动切换。[1，§V、算法1、附录B]

重叠动作块提高数据使用率，但没有创造新的独立机器人交互。异步训练提高墙钟效率，也不意味着VLA推理免费。论文的“数据分钟数”排除了复位和部分运行开销，必须与总实验耗时分别报告。[1，§V–VI]

6. 实验设计、指标与确证结果

6.1 两种评估设置

关键阶段评估从部分已完成、略加随机化的状态出发，每任务50个episode。例如穿扎带时机器人已经持有两端，评价聚焦插入。完整任务评估从home位置开始，前半段由VLA执行，RL必须承受前序动作造成的状态分布变化；完整任务评价覆盖更难的螺丝和扎带任务。两个设置测量不同问题，不应混合成功率。[1，§VI-A]

指标包括二元成功率、每10分钟成功完成次数即throughput、完成所需控制步数。throughput同时受成功率与速度影响；因此“吞吐量提高”不等同于相同比例的动作推理加速。奖励为操作者在成功时给出的稀疏+1+1，不是自动精密接触评分。[1，§VI、附录B]

6.2 主要结果

论文报告关键阶段速度最高提高约3倍；四任务的速度或成功率均得到改善。原策略对网线、充电器已有较高成功率，改进主要体现在更快完成；螺丝和扎带的成功率提升更明显。完整任务中的收益仍然存在，但早期抓取、提起等失败会降低总体成功率。正文给出的完整任务“40%”“60%提升”没有在同一句明确标注相对百分比或百分点，本文不据此重建精确成功率表。[1，图4–5、§VI-C]

网线关键阶段的完成步数中位数为：RLT 66步、遥操作146步、基础VLA 228步。按50 Hz换算分别为1.32、2.92、4.56秒；这是对原图中位数的单位换算，不代表全部任务的平均速度。RLT学到直接接触、施压并做小幅调整的动作，减少基础模型反复接近—退回—重新试探的行为。[1，图9、§VI-C]

网线任务上与HIL-SERL、Probe-Learn-Distill、DSRL和DAgger比较。单步方法HIL-SERL及PLD在该50 Hz、稀疏奖励设置下较差；DSRL、DAgger能够维持较好成功率，但速度改善较小。附录特别指出HIL-SERL受到50 Hz控制与缺少限制探索的动作空间边界影响，因此不能将这里的失败推广成“HIL-SERL普遍不能做精密操作”。[1，图6、附录C]

6.3 消融的含义与限制

  • 用冻结ImageNet ResNet-10代替RL token，吞吐量降低约50%，支持任务相关VLA表征具有作用。
  • 删除BC正则带来最大的单项性能损失，说明可靠行为先验对小数据高维探索非常重要。
  • 删除参考动作输入最终仍可达到接近完整方法的性能，但学习更慢、早期失败更多。
  • 将C=10C=10改为单步动作后表现明显下降；但由于无法50 Hz运行VLA，此变体同时换成ResNet-10，因而它不是只改变chunk长度的完全单因素消融。
  • 约5分钟有效机器人数据时已经优于多个变体，但此时总实验时间约40分钟。[1，图7–8、§VI-B–C]

7. 实质创新、局限与项目联系

RLT的实质创新在于把VLA的知识同时通过“压缩状态接口”和“参考动作接口”交给小型在线RL，并用动作块缩短价值传播的决策长度。它将预训练知识保留与在线可训练参数规模分开，是大型策略适配的一种结构化方案。其收益不是提出新的TD收敛理论，而是将多项互相制约的工程和学习机制组合后，在真实高精度任务中验证。[1]

论文明确承认仍依赖人类奖励、纠正、关键阶段切换与复位。仅四任务、单一基础模型系列及有限基线任务，尚不能证明跨机器人、跨场景或持续学习的广泛效果。冻结视觉表征可能无法适应新的遮挡、相机布局或接触所需感觉信息；在线RL仍有off-policy函数逼近及bootstrap误差。上述前一句为论文局限，后两句为基于方法结构的独立分析。[1，§VII]

与本项目动态VLA工作的关系（独立分析）：RLT更适合“基础VLA已能到达关键区域、但接触精度或完成速度不足”的情形。它并未直接解决目标持续运动导致的观测过期；C=10C=10在50 Hz下仍有0.2秒块级开放执行。若结合异步action chunk或动态剪枝，应分别测量感知年龄、推理延迟、控制重规划周期与任务性能，不能只报告RL后动作更快。BC强度还应考虑参考动作是否已经因动态环境变化而过时。

复现检查重点：区分VLA的H=50H=50与RL的C=10C=10；检查chunk奖励和γC\gamma^C；确保回放中的动作是实际执行动作；接管时同步替换参考监督；保持dropout仅用于训练输入；核对相机、本体状态、动作归一化及50 Hz时间戳；分开记录示范成本、有效交互时间、复位时间和总墙钟时间。这里没有运行作者代码，也未验证任何第三方复现库。

8. 来源与阅读定位

[1] 项目原始PDF：Xu et al. - RL Token Bootstrapping Online RL with Vision-Language-Action Models.pdf，13页。重点：§III–V及式(1)–(5)，PDF第3–6页；实验与消融，PDF第6–9页；附录B–C，PDF第12–13页。重复附件“(1)”按同一论文合并。

[2] 作者官方研究页面：Precise Manipulation with Efficient Online RL；作者PDF。网页用于核对作者、发布日期与公开介绍；正文结论依据项目PDF。

[3] 原始预印本：arXiv:2604.23073。外部资料核对日期：2026-10-09。