RL²：通过慢速强化学习学会快速强化学习

作者： Yan Duan、John Schulman、Xi Chen、Peter L. Bartlett、Ilya Sutskever、Pieter Abbeel；UC Berkeley 与 OpenAI。年份与版本： 2016，arXiv:1611.02779v2，2016 年 11 月 10 日修订，共 14 页；首稿于 11 月 9 日提交。上传稿与 arXiv 元数据写的是“Under review as a conference paper at ICLR 2017”，本总结不据此声称正式会议接收。主依据为项目补充原文 RL2.pdf，并核查了 arXiv 和 OpenAI 官方发布页。[1][2][3]

1. 一句话贡献与问题定位

RL² 把“在新任务中如何探索、记住反馈并改进策略”这套学习过程，编码为一个循环神经网络：慢速外层强化学习更新网络权重，快速内层适应只更新循环隐藏状态。 它不是把常规强化学习代码执行得更快，而是让模型经过大量任务训练后，在新的同分布任务上用少量交互形成有效行为。[1，摘要、§2]

普通从零训练的强化学习策略往往需要大量环境样本。人类设计的贝叶斯强化学习算法可以利用任务先验，但高维后验推断和规划常常昂贵。作者采取另一条路径：只要求能够从任务分布采样，用通用强化学习训练一个能根据历史反馈持续调整行为的 RNN。任务先验以权重的形式被压入网络，新任务的探索记录和知识则由激活状态保存。[1，§1–2]

这里的“快速”主要是新任务适应的样本效率，论文没有提供毫秒延迟、机器人控制频率或实时 VLA 的实验。它属于元强化学习的基础工作，与项目中的 VLA 推理加速、动作异步执行属于不同问题层次；二者可能共同服务于机器人适应，但不能用“fast”一词直接混为一类。

2. 两层学习、两个边界

2.1 一个 trial 包含同一任务的多个 episode

论文先定义有限时域 MDP：

M=(S,A,P,r,ρ0,γ,T).M=(\mathcal S,\mathcal A,P,r,\rho_0,\gamma,T).

任务来自分布 M∼ρMM\sim\rho_{\mathcal M}，训练只需能采样，不必解析写出该分布。对一个固定任务，机器人或智能体可以交互 nn 个 episode；这整组称为 trial。每个 episode 重新采样初始状态，但同一 trial 内的转移规律和奖励任务不变。只有开始新 trial 时，才重新抽取 MDP。[1，§2.1–2.2、图1]

层次 变化内容 保留内容 学习发生在哪里
episode 边界 环境回到该 MDP 的新初态 MDP、网络权重、RNN 隐藏状态 已收集知识继续影响下一回合
trial 边界 换一个 MDP，隐藏状态重置 训练后的网络权重 新任务从已学先验开始适应
外层优化步骤 用多个 trial 更新网络参数 任务分布定义 强化学习训练“如何适应”的规则

表中最关键的是：episode 结束不等于清空学习记忆。 如果每回合都将 GRU 状态归零，第一回合找到目标位置的经验就无法用于第二回合；如果跨不同 trial 也不清零，则会把另一任务的经验带入新的任务，改变论文设定。[1，图1、§2.2]

2.2 输入包含反馈，而不仅是当前状态

在一致的时间记号下，可将策略前向写为

xt=ϕ(ot,at−1,rt−1,dt−1),ht=GRU⁡θ(ht−1,xt),x_t=\phi(o_t,a_{t-1},r_{t-1},d_{t-1}),\qquad h_t=\operatorname{GRU}_\theta(h_{t-1},x_t),

πθ(at∣ht)=softmax⁡(Wht+b).\pi_\theta(a_t\mid h_t)=\operatorname{softmax}(Wh_t+b).

在完全可观测任务中 ot=sto_t=s_t，在视觉迷宫中是图像。at−1a_{t-1}、rt−1r_{t-1}、dt−1d_{t-1} 分别是上一步动作、奖励及结束标记。公式是对论文描述的统一记号转述。输入上一动作让网络知道“试了什么”，奖励让它知道“得到怎样的反馈”，结束标记让它知道“环境已经重置”，隐藏状态则总结此前多个回合的经验。[1，§2.2–2.3]

trial 的初始输入没有上一动作，附录使用动作 0 的嵌入占位，奖励与结束标记置零。动作均为离散动作；策略输出全连接层加 softmax。所有实验 GRU 隐藏单元为 256。作者也尝试在每个 episode 只重置部分隐藏状态，但未观察到优于简单跨回合保留方案的改进。[1，§2.3、附录 A]

2.3 隐藏状态更新为何可以称为“学习”

机制解释： 对两个外观相同的当前观测，如果此前奖励经历不同，hth_t 就可以不同，策略因而选择不同动作。例如某个拉杆刚连续失败，网络可以降低它的选择概率；在迷宫第一次找到目标以后，网络可以在下一回合优先走向已知位置。改变的不是权重，而是权重所规定的计算过程正在积累证据。它是一种在激活中实现的适应，不要求内部显式存在 Q 表、转移模型或贝叶斯后验。[1，§2、§4；例子为本总结解释]

同样，拥有记忆并不自动意味着学到了高效探索。网络可以记住过去，却仍然采用无效策略；只有对整个 trial 的累计结果进行训练，才会让早期获取信息、后期利用信息的行为获得反馈。RL² 的贡献是将这种策略与适应规则共同优化，而不是单独提出一种新的 GRU 单元。

3. 外层目标与训练过程

3.1 优化整个 trial 的回报

用 ℓ\ell 表示贯穿 trial 的交互索引、LL 表示该 trial 总步数，可概括目标为

max⁡θJ(θ)=EM∼ρM, τ∼πθ,M[∑ℓ=0L−1γℓrℓ].\max_\theta J(\theta)= \mathbb E_{M\sim\rho_{\mathcal M},\,\tau\sim\pi_\theta,M} \left[\sum_{\ell=0}^{L-1}\gamma^\ell r_\ell\right].

这是对论文“单个 trial 的预期累计折扣奖励”目标的形式化转述。早期探索会减少当下奖励，但若使后续回合获得更多奖励，仍可能提高总体目标。作者把最大化累计回报联系到最小化累计 pseudo-regret；这不表示论文证明了该神经策略具有经典算法的遗憾上界。[1，§2.2]

训练时，每批抽取多个任务，对每个任务完整运行若干 episode；保留 trial 内隐藏状态，收集动作、奖励及网络状态；再用外层强化学习改进权重。部署到新任务后权重固定，只沿新的交互历史前向更新 hh。因此，内层没有为新任务执行梯度下降，没有用测试奖励更新网络权重；奖励是前向输入，外层训练才通过奖励构造优化信号。[1，§2]

3.2 TRPO、价值基线和长时域信用分配

作者使用 TRPO，并将其实现描述为 first-order implementation；价值基线也用 GRU，并可使用 GAE 减少梯度估计方差。这里不能误称 RL² 在外层使用 PPO，也不能把后续算法采用的优化器倒填到原论文。TRPO/GAE 是借用的训练组件，本文新增的核心是跨任务、跨回合的训练问题与循环策略信息结构。[1，§2.4]

由于第一回合的一个探索动作可能到第二回合才产生收益，外层必须解决跨回合的长期信用分配。保存隐藏状态只保证前向信息可以流动，并不保证高方差策略梯度能有效学会利用它。试验时域越长、探索收益越晚出现，外层训练越困难；这正是作者后续实验观察到的瓶颈。[1，§3.1–3.3、§5]

从部分可观测角度看，环境的具体 MDP 对智能体隐藏，历史交互提供关于它的证据。RL² 将“未知是哪一个任务”构造成外层 POMDP，RNN 近似维持对任务的内部表示。该表示可以承担类似 belief state 的作用，但论文没有要求它等于规范化概率分布，也没有监督它恢复真实后验。[1，§4]

4. 多臂老虎机：是否学到探索与利用

每个任务有 kk 个伯努利拉杆，奖励均值 pip_i 独立采自 U[0,1]U[0,1]。测试组合为 k∈{5,10,50}k\in\{5,10,50\}、总交互数 n∈{10,100,500}n\in\{10,100,500\}；原表将这些称为 interaction episodes，在无状态老虎机中对应总拉杆次数。每个设置在 1,000 个新任务上报告平均累计奖励；它不是成功率。[1，§3.1、表1]

基线含 Gittins 指数近似、Thompson sampling、乐观 TS、UCB1、ε-greedy 和 greedy。贝叶斯方法获得真实任务先验；带超参数方法分别做网格搜索。因此比较并非故意不给经典算法先验。Gittins 的理论最优性质对应折扣无限时域，而这里展示有限交互预算及近似实现，不能据有限表格宣布 RL² 超越贝叶斯最优策略。[1，§3.1]

交互 n / 拉杆 k 随机 Gittins 乐观 TS UCB1 RL²
10 / 5 5.0 6.6 6.5 6.7 6.7
10 / 10 5.0 6.6 6.2 6.7 6.7
10 / 50 5.1 6.5 5.5 6.6 6.8
100 / 5 49.9 78.3 77.9 78.0 78.7
100 / 10 49.9 82.8 81.4 82.4 83.5
100 / 50 49.8 85.2 67.7 84.3 84.9
500 / 5 249.8 405.8 406.7 405.8 401.6
500 / 10 249.0 437.8 438.9 437.1 432.5
500 / 50 249.6 463.7 437.6 457.6 438.9

短预算时 RL² 接近或略高于这些基线；最难的 500 次、50 臂设置明显落后 Gittins，累计奖励差 24.8。原表用单侧 t 检验、p=0.05 标记与最佳值无显著差异的算法，不能把所有小数位上的领先都称为显著胜出。训练曲线另将随机策略归一化为 0、Gittins 为 1，该归一化分数也不是原始累计奖励。[1，表1、图2]

一个关键诊断实验是：用 Gittins 生成轨迹，对同一网络结构做监督学习，网络可以达到 Gittins 水平。它支持这一设置下外层强化学习优化是瓶颈，而非仅仅隐藏单元容量不够；但不证明任意长时域都不需要更好的记忆架构。[1，§3.1、§5]

5. 随机表格 MDP：加入真正的序列决策

任务含 10 个状态、5 个动作，每回合最多 10 步，固定从第一个状态开始。各状态—动作奖励均值独立采自 N(1,1)\mathcal N(1,1)，实际奖励再加单位方差高斯噪声；转移分布从平坦 Dirichlet 先验采样。状态和动作分别用 one-hot 编码。回合数 nn 为 10、25、50、75、100，因此最长 trial 涉及约 1,000 次环境交互。[1，§3.2、附录 A.2]

PSRL 每回合采样一个后验 MDP，并在该回合执行其最优策略；OPSRL 是乐观变体。BEB 为较少访问的状态—动作加探索奖励，UCRL2 则进行乐观模型规划。论文沿用与老虎机相同的评测程序，表2报告累计奖励。[1，§3.2]

每 trial 回合数 n 随机 PSRL OPSRL BEB RL²
10 100.1 138.1 144.1 150.2 156.2
25 250.2 408.8 425.2 427.8 445.7
50 499.7 904.4 930.7 917.8 936.1
75 749.9 1417.1 1449.2 1422.6 1428.8
100 999.4 1939.5 1973.9 1935.1 1913.7

RL² 在前 3 个预算设置中均值较好，n=75、100 时优势反转。作者的解释是短预算不足以准确识别整个环境，直接针对该预算训练的网络可能更早进入利用阶段，而通用算法的探索安排未必最适合这种有限时域。这个解释合理，但论文没有直接解码网络证明它内部实现了某一种明确的探索规则。[1，表2、图3]

表格任务中的优势也不意味着学会了任意状态数、动作数和奖励分布下的通用算法。状态/动作编码维度固定，训练先验也很具体；改变这些条件是否仍然有效，需要额外实验。论文主要展示同一分布中新 MDP 的适应，而不是跨任意任务家族的泛化。

6. 视觉迷宫：跨回合记忆与外推

ViZDoom 迷宫只给第一人称 RGB，目标位置与地图在同一 trial 内固定。到目标奖励 +1，撞墙 −0.001，每步 −0.04。训练为 5×5 小迷宫、每 trial 两回合、每回合最多 250 步；从 1,000 个训练地图—目标配置采样，测试另生成 1,000 个配置。还在 9×9 大迷宫测试，并把每回合时限增至 1,000 步，以及把交互延长到 5 回合。[1，§3.3]

策略要从低层动作学会导航，并在第一回合探索后保留目标位置信息。图像缩到 40×30，RGB 归一化到 [−1,1]；两层 16 通道、5×5、stride 2 卷积；上一动作经可学习的 256 维嵌入后与视觉特征结合，再经过 256 维全连接层送入循环策略。奖励与结束标记按公共输入设计保留。本实验策略与价值基线共享网络，其他两组通常用独立网络。[1，附录 A]

回合 小迷宫成功轨迹长度 小迷宫成功率 大迷宫成功轨迹长度 大迷宫成功率
1 52.4±1.3 99.3% 180.1±6.0 97.1%
2 39.1±0.9 99.6% 151.8±5.9 96.7%
3 42.6±1.0 99.7% 169.3±6.3 95.8%
4 43.5±1.1 99.4% 162.3±6.4 95.6%
5 43.9±1.1 99.6% 169.3±6.5 96.1%

以上为原表3，长度只对成功轨迹统计，保留原表 ± 数字而不擅自指定未说明的置信区间含义。第二回合相对第一回合，平均成功路径在小迷宫减少约 25.4%，大迷宫约 15.7%（本总结计算）。第二回合长度不超过第一回合的地图比例为 91.7% 与 71.4%；“不超过”含持平，不能写成所有这些地图都严格改善。[1，表3]

两点尤其影响证据解读。第一，表3明确选用图5所有随机初始化中最佳的一次训练运行，不是跨种子平均水平；图5显示训练性能对初始化很敏感。第二，第三到第五回合并未继续单调缩短路径，而是比第二回合更长。结果说明一定程度的回合外推与记忆利用，不支持持续交互必然持续改善。[1，表3、图5]

图6还给出失败模式：有时第二回合忘记目标位置，再次探索。即使小迷宫成功率很高，也不能将其等同于最优路径记忆；找到目标与以最短路径利用已知目标是不同标准。[1，§3.3、图6]

7. 相对前作的差异、局限与项目意义

相对经典贝叶斯强化学习，RL² 不手工维护显式后验与规划器，而以循环网络近似任务推断和行动；相对学习优化器的方法，它不另行输出某个策略的参数更新，而由同一 RNN 同时承担适应机制与行为策略；相对仅迁移固定技能，它允许新任务中的奖励反馈改变后续行动，探索与利用也进入训练目标。[1，§4]

关键局限有四个。 外层训练仍慢，少样本测试收益来自大量元训练的摊销；任务分布、可用交互预算和记忆边界构成重要先验；长时域的信用分配与记忆可靠性不足；表现接近有理论保证的算法不等于自身获得同样理论保证。论文对最难老虎机的诊断、表格 MDP 的长预算反转和迷宫随机初始化差异都支持这些限制。[1，§3、§5]

与动态机器人研究的关系（本总结分析）： RL² 提供一种学习隐含动力学、执行器偏差或任务偏好的思路：让交互历史在隐藏状态中影响后续控制。但本文没有机器人、连续动作或运动物体实验；真实部署若任务在一个 trial 内突然改变，原先“该 trial 的 MDP 固定”先验还可能使旧记忆妨碍快速适应。要用于动态 VLA，应另行设计历史输入、奖励可得性、环境变化分布和记忆重置策略，并分别检验适应质量与实时延迟。

8. 复现时最容易错的地方

首先固定任务分布与预算，再检查三种边界：环境 episode 结束、trial 结束、外层优化批次结束。结束标记必须送进网络，隐藏状态只能按既定 trial 边界清空；训练采样、回报计算和循环展开也要允许早期探索影响后续回合。测试时固定权重，避免把额外梯度微调误计为原方法的内层能力。[1，§2；实现核查为本总结建议]

附录的共同参数是 GRU 256、折扣 0.99、平均 KL 限制 0.01；老虎机/表格 MDP 的 GAE λ=0.3、batch 250,000，最多 1,000/10,000 次策略迭代；视觉任务 λ=0.99、batch 50,000，最多 5,000 次迭代。使用权重归一化，隐藏到隐藏矩阵正交初始化，其余 Xavier，偏置置零。batch 数字应按原训练采样器含义核对，不能直接解释为同样数量的独立任务。[1，附录 A]

原实现基于 TensorFlow 与 rllab，经典算法使用 TabulaRL。官方发布页可确认论文来源，但本次没有从该页面核实到论文专属的完整代码仓库，因此不把检索到的第三方 PyTorch 复现标成作者原代码。本总结完成原文、表格与官方元数据核查，未执行模型训练或复现实验。[1，附录 A；3]

参考来源与定位

[1] 项目补充原文：RL2.pdf，arXiv:1611.02779v2，14 页。第2–3页§2：trial、输入、GRU 与 TRPO；第4–5页§3.1/表1：老虎机；第5–6页§3.2/表2：表格 MDP；第7–8页§3.3/表3、图4–6：视觉迷宫与最佳种子口径；第8–9页§4–5：关系与瓶颈；第13–14页附录A：输入编码、优化参数与网络。官方固定版本：官方链接

[2] arXiv 官方元数据与版本历史：官方链接 。核查日期：2026-10-09。

[3] OpenAI 官方论文发布页，2016-11-09：官方链接 。核查日期：2026-10-09。