([arXiv](https://arxiv.org/abs/1811.02553 "[1811.02553] A Closer Look at Deep Policy Gradients")) 围绕该框架中的关键要素——**梯度估计、价值预测和优化景观**——当前方法（PPO and TRPO）进行了细粒度分析。 结果表明，深度策略梯度算法的行为常常偏离其理论动机框架所预期的情形：**替代目标函数并不匹配真实奖励景观，学习得到的价值估计器无法很好地拟合真实价值函数，梯度估计与“真实”梯度之间的相关性较差**。 --- ## 三、深度策略梯度算法背后的基本理论图景。这个图景大致包含三层： ### 第一，目标是最大化策略的期望回报： $$ J(\theta)=\mathbb{E}_{\tau\sim \pi_\theta}[R(\tau)] $$ 其中 $\theta$ 是策略网络参数，$\tau$ 是轨迹，$R(\tau)$是轨迹回报。 ### 第二，通过策略梯度定理估计 $\nabla_\theta J(\theta)$，然后沿梯度方向更新参数： $$ \theta \leftarrow \theta + \alpha \widehat{\nabla_\theta J(\theta)} $$ ### 第三，为了降低方差、提高样本效率，实际算法会引入价值函数、优势函数、替代目标函数、信赖域约束、裁剪目标等工程机制。 因此，理论叙事通常是： > 价值函数提供较好的基线，优势估计提供较可靠的梯度方向，替代目标函数近似真实回报变化，优化过程因此稳定提高真实奖励。 --- ## 三个分析维度 ### 1. Gradient estimation：梯度估计 策略梯度算法无法直接得到真实梯度，只能用有限采样轨迹估计梯度。理论上，若样本足够多，估计梯度应接近真实梯度。 但论文指出，实际深度策略梯度算法中的梯度估计与“真实”梯度相关性较差。([arXiv](https://arxiv.org/abs/1811.02553 "[1811.02553] A Closer Look at Deep Policy Gradients")) 这里的“相关性较差”通常可以理解为：有限样本算出来的梯度方向，和用大量样本近似得到的真实梯度方向并不一致。若用余弦相似度衡量，可能出现方向夹角较大，甚至方向不稳定的情况。 这说明一个关键问题： > 策略更新虽然形式上是“梯度上升”，但实际使用的梯度估计可能并不是可靠的真实回报梯度方向。 这会削弱经典解释：算法并不一定是在稳定地沿真实目标函数的上升方向移动。 --- ### 2. Value prediction：价值预测 价值函数 $V^\pi(s)$或动作价值函数 $Q^\pi(s,a)$ 的理论作用是估计未来回报，并作为优势函数估计的一部分。例如： $$ A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s) $$ 在策略梯度中，优势函数用于判断某个动作是否比当前策略的平均行为更好。若价值函数估计准确，优势估计更可靠，梯度方差更低。 但论文指出，学习得到的价值估计器未能很好拟合真实价值函数。([arXiv](https://arxiv.org/abs/1811.02553 "[1811.02553] A Closer Look at Deep Policy Gradients")) 这意味着，critic 或 value network 并不一定在准确学习“从当前状态出发的期望回报”。这会带来两类影响： 第一，优势估计可能偏离真实优势，导致策略更新方向受错误信号影响。 第二，价值函数虽然理论上用于降低方差，但若拟合质量不足，它可能只是在经验上提供某种有用的训练信号，而不是严格实现理论中的真实价值估计功能。 因此，actor-critic 方法中的 critic 不应简单理解为“已经学到真实价值函数的模块”。更严谨的理解是：critic 是一个被训练出来的辅助预测器，其误差、偏差和训练动态都会影响 actor 的更新。 --- ### 3. Optimization landscapes：优化景观 **“优化景观”指目标函数在参数空间中的形状。对于策略梯度算法，理想情况是：替代目标函数的上升方向，也对应真实期望回报的上升方向。** 实际算法通常不直接优化真实回报 ($J(\theta)$)，而是优化一个 surrogate objective，即替代目标。例如 TRPO 和 PPO 中的目标函数并不是直接对环境真实回报求最大化，而是构造一个局部近似目标，用于指导更新。 论文指出，替代目标并不匹配真实奖励景观。([arXiv](https://arxiv.org/abs/1811.02553 "[1811.02553] A Closer Look at Deep Policy Gradients")) 这句话非常关键。其含义是： > 在替代目标上看似更优的参数方向，不一定真的提高环境中的真实回报。 这会挑战 PPO、TRPO 等方法的常见解释。因为这些方法通常依赖一个假设：在局部范围内，替代目标可以近似真实目标；只要约束更新幅度，优化替代目标就能稳定改进真实回报。若替代目标景观和真实奖励景观错位，那么替代目标的上升就可能变成一种不可靠的训练代理。 --- ## 摘要强调的是一种方法论问题： > 不能只看算法在 MuJoCo、Atari 或其他基准任务上的最终分数，还需要分析算法内部机制是否符合理论预期。 这与“benchmark-centric evaluation methods”有关。所谓以基准测试为中心的评价方式，通常关注某算法在若干环境中的平均回报、胜率、样本效率等指标。论文认为，仅靠这些指标不足以说明算法机制已经被理解。 例如，一个算法可能在 benchmark 上表现较好，但原因未必是理论解释中的“梯度估计准确”“价值函数拟合良好”“替代目标可靠”。也可能是若干偏差、正则化、优化器、网络结构、采样噪声和环境特性的综合结果。 因此，这段话的深层含义是： > 深度强化学习算法的经验成功，不等于现有理论解释已经充分解释其行为。 --- ## 和策略梯度方法的关系 这段话特别针对 deep policy gradient algorithms。经典策略梯度方法的理论基础比较清晰：通过采样估计梯度，然后优化期望回报。但深度强化学习引入神经网络、有限样本、非凸优化、高方差轨迹回报、bootstrapping、优势估计、目标裁剪等因素后，实际行为会变得复杂。 可以将论文的结论理解为以下三条： 1. **梯度层面**：估计出来的梯度不一定接近真实梯度。 2. **critic 层面**：价值网络不一定学到真实价值函数。value prediction 3. **目标函数层面**：替代目标不一定反映真实奖励变化。 三者合起来说明：深度策略梯度算法的实际运行机制，比“估计策略梯度并上升”这一理论描述更复杂。 --- ## **当前深度强化学习实践在多大程度上反映了指导其发展的基本原则？** 本文特别关注深度策略梯度方法。这是一类被广泛使用的深度强化学习算法。本文目标是考察这些先进实现，在多大程度上真正实现了一般策略梯度框架中的关键基本构件。 --- 本文从更宽的视角考察策略梯度算法及其与底层理论框架之间的关系。基于这一视角，本文对若干关键强化学习基本构件在实践中的表现进行细粒度分析。具体而言，本文研究以下三个方面。 **梯度估计**：即使智能体的奖励确实有所提高，用于参数更新的梯度估计与“真实”梯度之间的相关性仍然较差。此外，本文还表明，随着训练推进以及任务复杂度增加，梯度估计质量会下降。最后，本文证明，改变采样机制会产生一些无法由其理论动机框架解释的训练动态，并且这些动态与监督学习中的直觉相反。Ilyas 等人的论文摘要也概括了这一发现：深度策略梯度算法的梯度估计与“真实”梯度相关性较差。([arXiv](https://arxiv.org/abs/1811.02553?utm_source=chatgpt.com "A Closer Look at Deep Policy Gradients")) **价值预测**：实验表明，价值网络能够成功解决它们被训练去解决的监督学习任务，但并不能拟合真实价值函数。此外，将价值网络作为基线函数，相比于使用真实价值作为基线，只能略微降低梯度估计的方差；不过，与完全不使用基线相比，使用价值网络仍然能够显著提高智能体性能。该论文整体结论也指出，学习得到的价值估计器未能拟合真实价值函数。([arXiv](https://arxiv.org/abs/1811.02553?utm_source=chatgpt.com "A Closer Look at Deep Policy Gradients")) **优化景观**：本文表明，现代策略梯度算法所诱导的优化景观，通常不能反映底层真实奖励景观；并且在相关采样规模下，真实奖励景观本身也经常表现得很不良好。也就是说，替代目标函数与真实奖励景观之间存在显著错配。([arXiv](https://arxiv.org/abs/1811.02553?utm_source=chatgpt.com "A Closer Look at Deep Policy Gradients")) 总体而言，本文结果表明，深度强化学习算法背后的理论动机框架，往往无法预测实践中出现的现象。这意味着，构建可靠的深度强化学习算法，需要超越以基准测试为中心的评价方式，转向对算法非直觉行为的多方面理解。本文最后在第 3 节讨论了若干最需要这种理解的关键领域。 > 深度策略梯度算法在理论上被解释为“估计策略梯度，**然后沿着提升期望回报的方向更新策略**”。但是实际深度强化学习实现是否真的按照这个机制工作？ 论文的立场是：**不能简单认为理论叙述已经解释了实际算法行为**。 经典策略梯度理论给出一个清晰框架。设策略为 ($\pi_\theta(a|s)$)，目标函数为期望回报： $$ J(\theta)=\mathbb{E}_{\tau\sim \pi_\theta}[R(\tau)] $$ 策略梯度方法希望估计： $$ \nabla_\theta J(\theta) $$ 然后执行梯度上升： $$ \theta \leftarrow \theta + \alpha \widehat{\nabla_\theta J(\theta)} $$ 从这个角度看，策略梯度算法应该依赖三个关键环节： 1. **梯度估计要接近真实梯度**； 2. **价值函数要较好预测真实价值，用于构造低方差优势估计**； 3. **实际优化的替代目标应当近似真实回报目标**。 而这篇论文要检验的正是：这些环节在深度策略梯度算法中是否真的成立。 --- # 为什么说深度 RL 的工程稳定性不如监督学习？ 监督学习中，训练目标通常比较固定。例如分类任务常用交叉熵损失： $$ \mathcal{L}(\theta)= -\sum_i y_i \log f_\theta(x_i) $$ **数据集固定，标签固定，优化目标明确。虽然深度监督学习也存在随机性和超参数敏感性，但整体训练流程较稳定。** 深度强化学习不同。它同时存在以下问题： 第一，数据分布依赖当前策略。策略一变，采样到的状态分布、动作分布和奖励分布都会改变。 第二，目标信号噪声大。回报通常来自长期轨迹，单个动作对最终奖励的贡献难以精确归因。 第三，价值函数本身也在学习。actor 的更新依赖 critic，critic 的训练数据又来自 actor 当前或过去的策略。 第四，环境、初始化、探索噪声、随机种子和超参数都可能导致结果显著波动。Henderson 等人的可复现性研究强调，没有显著性指标和更标准化的实验报告，很难判断深度 RL 中的性能提升是否可靠。([arXiv](https://arxiv.org/abs/1709.06560?utm_source=chatgpt.com "Deep Reinforcement Learning that Matters")) 因此，引言中说 deep RL toolkit 没有达到监督学习框架的工程稳定性，主要指：**算法效果更依赖实现细节、超参数、随机种子和评估协议**。 --- # 核心概念一：Gradient Estimation，梯度估计 策略梯度方法的理论基础是： $$ \nabla_\theta J(\theta) = \mathbb{E}_{\tau\sim \pi_\theta} \left[ \sum_t \nabla_\theta \log \pi_\theta(a_t|s_t) A^\pi(s_t,a_t) \right] $$ 实际训练中不能直接计算这个期望，只能用有限样本估计： $$ \widehat{\nabla_\theta J(\theta)} $$ 理论预期是：样本越多，估计越接近真实梯度；估计越准确，更新方向越可靠。 **但论文发现：即使智能体奖励在上升，实际用于更新的梯度估计和“真实”梯度之间的相关性仍然较差。这里的“真实梯度”通常不是解析形式的绝对真实梯度，而是用更大量样本或更精细计算得到的参考梯度。** 这说明一个重要问题： > 奖励提高并不必然说明每一步参数更新都沿着真实梯度方向。 也就是说，算法可能确实在经验上变好，但这种变好未必来自理论叙事中所说的“可靠梯度估计”。训练成功可能依赖其他因素，例如噪声、正则化、优化器偏置、神经网络参数化结构、探索分布或环境局部特性。 这与监督学习直觉不同。在监督学习中，较大的 batch 通常能提供更准确的梯度估计，因此训练动态更容易解释。但在强化学习中，改变采样机制可能改变状态分布、探索行为和轨迹结构，所以“更多样本 = 更好梯度 = 更稳定训练”并不总是成立。 --- # 核心概念二：Value Prediction，价值预测 价值函数的理论定义是： $$ V^\pi(s)=\mathbb{E}_{\pi}\left[\sum_{t=0}^{\infty}\gamma^t r_t \mid s_0=s\right] $$ 动作价值函数为： $$ Q^\pi(s,a)=\mathbb{E}_{\pi}\left[\sum_{t=0}^{\infty}\gamma^t r_t \mid s_0=s,a_0=a\right] $$ 优势函数为： $$ A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s) $$ 在 actor-critic 方法中，critic 通常用于估计 $V^\pi$或 $Q^\pi$，然后构造优势估计。理论上，价值函数越准确，优势估计越可靠，策略梯度方差越低。 但论文指出一个反直觉现象： > 价值网络能够很好完成训练时给定的监督学习任务，但它并没有拟合真实价值函数。 这句话需要区分两个对象。 第一个对象是**训练目标**。实际算法可能用 TD target、GAE target、有限长度 rollout return 等作为监督信号。价值网络确实可能把这些训练标签拟合得不错。 第二个对象是**真实价值函数**。真实价值函数是对当前策略下长期折扣回报的条件期望。由于采样有限、bootstrap 偏差、函数逼近误差、状态分布偏移等原因，训练标签不一定等于真实价值函数。 因此，“value loss 下降”不等于“critic 学到了真实价值函数”。 这对 actor-critic 的理解很关键。critic 在理论中是价值函数估计器；但在深度 RL 实践中，critic 更准确地说是一个由特定训练目标塑造出来的辅助预测器。它可能对优化有帮助，但不一定满足理论分析中对真实价值函数的要求。 --- # 为什么 baseline 仍然有用？ 策略梯度中常用 baseline 降低方差。典型形式是： $$ \nabla_\theta J(\theta) = \mathbb{E} \left[ \nabla_\theta \log \pi_\theta(a|s) \bigl(R-b(s)\bigr) \right] $$ 只要 ($b(s)$) 不依赖动作 ($a$)，它不会改变梯度期望，但可以改变方差。 理论上，较好的 baseline 应该接近价值函数。若使用真实价值函数 ($V^\pi(s)$)，通常可以显著降低方差。 **论文发现：学习得到的价值网络作为 baseline，相比真实价值 baseline 只能略微降低梯度估计方差；但相比没有 baseline，仍然显著提高性能。** 这个结果说明： 1. 学习到的 value network 不是高质量真实价值函数； 2. 但它仍然提供了某种有用的方差控制或训练稳定化作用； 3. 价值网络的经验作用不能完全用“准确估计真实价值函数”来解释。 **实际有效机制和理论解释之间存在错位**。 --- # 核心概念三：Optimization Landscapes，优化景观 策略梯度(PPO&TRPO)算法通常不直接优化真实回报目标，而是优化某种替代目标函数。**例如 PPO 使用 clipped surrogate objective，TRPO 使用带 KL 约束的替代目标。** **理论设想是：替代目标在局部范围内近似真实目标。因此优化替代目标，应当大致提高真实环境回报。** 但论文发现：现代策略梯度算法诱导出的优化景观，往往不能反映真实奖励景观。 这里的“景观”可以理解为：当参数 ($\theta$) 朝不同方向移动时，目标函数值如何变化。 如果替代目标景观和真实奖励景观一致，那么： - 替代目标上升的方向，真实奖励也应上升； - 替代目标的局部最大值，应对应较好的真实策略； - 替代目标下降，通常意味着真实回报也变差。 但如果两者不匹配，就可能出现： - 替代目标提高，但真实奖励下降； - 替代目标看起来平滑，真实奖励却高度不规则； - 替代目标给出的更新方向，与真实回报改善方向不一致。 这会直接挑战 PPO/TRPO 等算法的常见直觉解释。 --- # “relevant sample regime” 是什么意思？ 原文说： > the latter is frequently poorly behaved in the relevant sample regime 这里的 latter 指真实奖励景观。relevant sample regime 指实际训练中使用的样本规模范围。 **理论分析中，常常假设样本足够多，估计误差可以忽略。但实际深度 RL 训练通常受样本成本限制。每次更新只能使用有限 rollout、有限环境交互和有限 batch。** 因此，论文强调的是： > **在实际算法真正使用的样本规模下，真实奖励目标本身可能表现得很不稳定、不平滑、难以优化。** 这说明，问题不只是替代目标不够好；真实奖励目标在有限采样下也可能不是一个容易优化的对象。 --- # 为什么要“超越 benchmark-centric evaluations”？ benchmark-centric evaluation 指主要依靠基准环境分数来评价算法，例如在 MuJoCo、Atari、DMControl 或其他环境中比较平均回报。 这种评价方式有价值，但不充分。原因是： **第一，benchmark 分数只能说明算法在某些任务上表现如何，不能说明算法为什么有效。** **第二，算法可能通过与理论无关的实现细节获得性能提升。** **第三，不同随机种子、超参数、环境版本和评估协议可能导致不同结论。** **第四，高分并不意味着算法内部机制符合策略梯度理论。** 所以论文主张：除了比较最终回报，还需要分析梯度估计、价值函数拟合、替代目标景观、样本机制、方差和优化动态。 --- # 深层结论 引言的深层含义可以概括为： **深度策略梯度算法的理论叙事是清晰的，但实践行为并不总是服从这一叙事。** 更具体地说： |理论预期|论文观察到的问题| |---|---| |梯度估计应接近真实策略梯度|实际梯度估计与“真实”梯度相关性较差| |价值网络应拟合真实价值函数|价值网络能拟合训练目标，但不拟合真实价值函数| |替代目标应近似真实奖励目标|替代目标景观和真实奖励景观经常错配| |benchmark 表现可反映算法质量|benchmark 分数不足以解释算法机制| 因此，这篇论文不是简单批评策略梯度算法无效，而是在指出： > 现有深度策略梯度算法可能有效，但其有效原因并没有被当前理论框架充分解释。 --- 论文通过三个层面回答这个问题： 1. **梯度估计层面**：更新所用梯度与真实梯度相关性差。 2. **价值预测层面**：critic 拟合了训练标签，但没有拟合真实价值函数。 3. **优化景观层面**：替代目标函数不能可靠反映真实奖励景观。 因此，论文认为，深度强化学习需要从单纯追求 benchmark 分数，转向对算法内部机制的系统理解。当前的问题不是只需要更高分数，而是需要解释：**算法为什么有效、什么时候失效、哪些理论假设在实践中并不成立。** # **策略梯度算法实际使用的梯度估计，是否真的是理论上那个策略梯度的可靠近似？** 策略梯度理论中，更新方向应当近似： $$ \nabla_\theta J(\theta) $$ 其中 $J(\theta)$是策略的期望回报。若梯度估计可靠，则用有限样本算出的梯度方向应当和真实梯度方向接近。若方向不接近，则“梯度上升”这一理论解释就会变弱。 论文并不是说 PPO 或 TRPO 不能训练出高奖励策略，而是说： > 即使奖励提高，实际更新所用的梯度也可能与真实梯度相关性很低。 这意味着，经验性能提升并不自动证明算法正在按照理论描述的机制运行。 --- # 公式逐项解释 在合适的目标函数上进行随机梯度上升，可以得到一个好的策略。原文中的公式是： $$ \hat{g} = \nabla_\theta \mathbb{E}_{(s_t,a_t)\sim \pi_0} \left[ \frac{\pi_\theta(a_t|s_t)}{\pi_0(a_t|s_t)} \hat{A}^{\pi_0}(s_t,a_t) \right] \tag{1} $$ 这个式子可以看作 PPO/TRPO 类方法中常见的 **surrogate objective，即替代目标函数** 的梯度。 其中： $$ (s_t,a_t)\sim \pi_0 $$ 表示样本不是从新策略 $\pi_\theta$中采集的，而是从旧策略或行为策略 $\pi_0$ 中采集的。 $$ \frac{\pi_\theta(a_t|s_t)}{\pi_0(a_t|s_t)} $$ 是重要性采样比率，也常写作： $$ r_t(\theta)=\frac{\pi_\theta(a_t|s_t)}{\pi_0(a_t|s_t)} $$ 它衡量：在同一个状态 $s_t$ 下，新策略 $\pi_\theta$ 选择动作 $a_t$ 的概率，相对于旧策略 $\pi_0$ 选择该动作的概率发生了多大变化。 $$ \hat{A}^{\pi_0}(s_t,a_t) $$ 是旧策略$\pi_0$ 下的**优势估计**。优势函数大致表示：动作 ($a_t$) 在状态 ($s_t$) 下比旧策略平均动作好多少。 因此，替代目标的含义是： $$ \mathbb{E}_{(s_t,a_t)\sim \pi_0} \left[ r_t(\theta)\hat{A}^{\pi_0}(s_t,a_t) \right] $$ 如果某个动作的优势为正，那么提高新策略对这个动作的概率会增加目标值；如果优势为负，那么降低新策略对这个动作的概率会增加目标值。 --- # 为什么第二个等号成立？ 公式第二行是： $$ \hat{g} = \mathbb{E}_{(s_t,a_t)\sim \pi_0} \left[ \frac{\nabla_\theta \pi_\theta(a_t|s_t)}{\pi_0(a_t|s_t)} \hat{A}^{\pi_0}(s_t,a_t) \right] $$ 原因是采样分布 ($\pi_0$) 对 ($\theta$) 来说是固定的。**也就是说，期望是在旧策略数据分布上计算的，而不是在当前 ($\pi_\theta$) 的分布上重新采样。因此可以把梯度算子移入期望内部**： $$ \nabla_\theta \mathbb{E}_{x\sim p_0}[f_\theta(x)] = \mathbb{E}_{x\sim p_0}[\nabla_\theta f_\theta(x)] $$ 这里的 ($x$) 对应 ($(s_t,a_t)$)，($p_0$) 对应由 ($\pi_0$) 产生的数据分布。 进一步地： $$ \nabla_\theta \left( \frac{\pi_\theta(a_t|s_t)}{\pi_0(a_t|s_t)} \hat{A}^{\pi_0}(s_t,a_t) \right) = \frac{\nabla_\theta \pi_\theta(a_t|s_t)}{\pi_0(a_t|s_t)} \hat{A}^{\pi_0}(s_t,a_t) $$ 因为 $\pi_0(a_t|s_t)$ 和 $\hat{A}^{\pi_0}(s_t,a_t)$ 都被视为固定量。 在 ($\theta=\theta_0$) 附近，这个表达式还可以和常见的**likelihood-ratio**形式联系起来： $$ \nabla_\theta \pi_\theta(a|s) = \pi_\theta(a|s)\nabla_\theta \log \pi_\theta(a|s) $$ 当 $\theta=\theta_0$时， $$ \frac{\pi_{\theta_0}(a|s)}{\pi_0(a|s)}=1 $$ 于是得到近似形式： $$ \mathbb{E} \left[ \nabla_\theta \log \pi_\theta(a|s) \hat{A}(s,a) \right] $$ 这就是策略梯度中最常见的形式。 --- # “梯度估计质量”具体指什么？ 论文用两个指标分析梯度估计质量。 ## 1. 经验方差：不同 rollout 得到的梯度是否一致？ 假设固定同一个策略 ($\pi$)，独立采样多批 rollout。每批 rollout 都可以计算一个梯度估计： $$ \hat{g}_1,\hat{g}_2,\ldots,\hat{g}_K $$ **如果这些估计方向相似，说明梯度估计方差较低；如果方向差异很大，说明有限样本估计非常不稳定。** 论文使用两两余弦相似度衡量方向一致性： $$ \cos(\hat{g}_i,\hat{g}_j) = \frac{\langle \hat{g}_i,\hat{g}_j\rangle} {|\hat{g}_i||\hat{g}_j|} $$ 含义如下： |余弦相似度|含义| |---|---| |接近 1|两个梯度方向高度一致| |接近 0|两个梯度方向近似无关| |小于 0|两个梯度方向相反| 如果同一策略下的不同 rollout 给出方向差异很大的梯度，那么实际更新方向就高度依赖采样噪声。 --- ## 2. 向“真实”梯度收敛：有限样本梯度是否接近大样本梯度？ 真实梯度通常不能精确得到，因此论文使用大量状态—动作对构造一个高精度参考梯度，称为“true gradient”。 然后比较有限样本梯度与该参考梯度的余弦相似度： $$ \cos(\hat{g}_{n},g_{\text{true}}) $$ 其中 ($n$) 是样本数。 理论直觉是：当 ($n$) 增大时，有限样本梯度应该逐渐接近真实梯度。 但论文发现，**在实际相关样本规模下，尤其是大约 ($10^3$) 样本量级，梯度估计可能仍然与真实梯度相关性很低，甚至为零或负相关。** **这说明：实际训练中使用的样本量，可能不足以得到可靠梯度方向。** --- # 为什么“奖励提升”不等于“梯度估计准确”？ 这是这段最重要的逻辑点。 原文说： > Evidently, since the agent attains a high reward, these estimates are sufficient to consistently improve reward. 意思是，**既然智能体确实能学到较高奖励，那么这些梯度估计并非完全无效。** 但是，论文接着问： > 它们的相对质量如何？ 也就是说，需要区分两个命题： **命题 A：梯度估计足以让训练在经验上变好。** **命题 B：梯度估计准确近似真实梯度。** 论文认为 A 可以成立，但 B 不一定成立。 这很重要。因为很多理论解释默认 B 成立：策略梯度算法之所以有效，是因为估计到了真实回报目标的梯度方向。然而实验显示，训练有效可能来自更复杂的机制，例如： - 噪声更新偶然具有有用偏置； - 神经网络参数化限制了更新空间； - 优化器和 clipping 等机制起到隐式正则化作用； - 环境奖励景观存在局部结构； - 价值网络虽不准确，但仍提供某种训练稳定化信号。 **因此，不能仅凭最终奖励上升，就断定算法正在进行高质量梯度上升。** --- # 为什么任务越复杂，梯度估计越差？ 任务复杂度增加时，梯度估计变差通常有几个机制原因。 **第一，轨迹更长，信用分配更困难。单个动作对最终回报的影响更间接，回报信号更嘈杂。** **第二，状态空间和动作空间更高维。Humanoid-v2 这类任务涉及高维连续控制，策略参数变化对轨迹分布的影响更复杂。** 第三，策略分布变化会放大重要性比率的波动： $$ \frac{\pi_\theta(a|s)}{\pi_0(a|s)} $$ 当新旧策略差异增大时，少量样本可能无法**稳定**估计该比率加权后的期望。 **第四，优势估计本身有误差。若 $\hat{A}^{\pi_0}(s,a)$噪声较大，梯度估计会进一步变差。** 因此，任务越复杂，有限样本估计越容易偏离真实梯度。 --- # 为什么训练越推进，梯度估计反而可能变差？ 按照直觉，训练推进后，价值网络应当更准确，策略应当更稳定，梯度估计似乎应该变好。但论文观察到相反现象。 可能机制包括： **第一，随着策略变得更确定，动作概率分布可能更尖锐。此时少数动作概率的变化会对梯度产生较大影响**。 **第二，策略进入更复杂的状态分布区域。早期策略可能只访问简单状态，后期策略访问更长、更复杂、更接近任务目标的轨迹，估计难度反而增加。** **第三，优势估计依赖价值网络，而价值网络也在变化。actor 和 critic 同时学习，导致训练目标本身不断移动。** **第四，接近较高性能区域后，奖励差异可能更稀疏或更局部，有限样本更难辨别真实改进方向。** 所以“训练越久，梯度估计越好”并不是强化学习中的必然规律。 --- # 和监督学习中“noisy gradients”的区别 监督学习也有随机梯度噪声。比如小 batch SGD 中，单个 mini-batch 梯度可能偏离全数据梯度。 但强化学习中的梯度噪声更复杂，原因在于： | 监督学习 | 强化学习 | | --------------------- | ------------------------------------ | | 数据集通常固定 | 数据分布随策略改变 | | 标签通常固定 | 回报和优势估计依赖轨迹 | | loss 通常可直接计算 | 真实期望回报只能通过采样估计 | | **mini-batch 噪声主要来自样本抽取** | **噪声还来自环境随机性、探索、长期信用分配、value bootstrap** | | 增大 batch 通常更接近全数据梯度 | 增大采样量可能同时改变训练动态和数据分布 | 因此，不能简单地把强化学习中的梯度问题理解为普通监督学习的小 batch 噪声问题。 --- # “sample regime” 的含义 sample regime 可以译为“**样本规模区间**”或“采样制度”。这里指算法实际训练时每次更新使用多少环境交互样本。 原文说实际通常是：$\sim 10^3$ 也就是每次更新大约使用几千个状态—动作样本。 这在深度强化学习中是常见规模，但从估计高维策略梯度的角度看可能非常少。论文指出，许多深度 RL 的超参数敏感性和不稳定性，可能与这个有限样本规模密切相关。Henderson 等人的研究也强调，深度 RL 的结果解释需要考虑随机性、方差和实验报告标准，否则性能差异可能难以可靠解释。([arXiv](https://arxiv.org/abs/1709.06560?utm_source=chatgpt.com "Deep Reinforcement Learning that Matters")) 所以这里的问题不是抽象地说“样本越多越好”，而是说： > 现代深度策略梯度算法在实际可承受的样本规模下运行，而这个样本规模可能不足以支撑理论框架所要求的高质量梯度估计。 --- # 价值网络为什么会使问题更复杂？ actor-critic 方法中有两个网络： $$ \text{policy network: } \pi_\theta(a|s) $$ $$ \text{value network: } V_\phi(s) $$ 策略网络 ($\pi_\theta$) 决定如何行动，价值网络 ($V_\phi$) 用于估计回报或构造优势： $$ \hat{A}(s,a) $$ 理论上，价值网络用于降低梯度估计方差。因此随着训练推进，若价值网络更准确，梯度估计应当更稳定。 但原文指出，图 1 中观察结果与这个预期相反。这说明价值网络的作用并不只是“越来越准确地估计价值并降低方差”。 更严格地说，actor-critic 不是单一目标优化，而是**耦合优化**： $$ \theta \leftarrow \theta + \alpha \widehat{\nabla_\theta J(\theta;\phi)} $$ $$ \phi \leftarrow \phi - \beta \nabla_\phi \mathcal{L}_V(\phi;\theta) $$ 其中 actor 的更新依赖 critic，critic 的训练数据又由 actor 当前或过去的策略产生。两者相互影响，形成**非平稳训练动态**。 这就是原文所说的 “two-player optimization landscape”。它不是严格博弈论意义上的两个智能体，而是指 actor 和 critic 两个学习系统共同塑造训练过程。 --- # “reward fitting” 在这里是什么意思？ 开头说本文考察三个 primitive：gradient estimation、value prediction 和 reward fitting。 这里的 reward fitting 可以理解为：算法使用的替代目标、局部模型或优化景观是否真正拟合了真实奖励函数的变化趋势。 在 PPO/TRPO 中，实际优化的不是环境真实回报(优化目标：average return)： $$ J(\theta) = \mathbb{E}_{\tau\sim \pi_\theta}[R(\tau)] $$ 而是基于旧策略样本构造的替代目标： $$ L(\theta) = \mathbb{E}_{(s,a)\sim \pi_0} \left[ \frac{\pi_\theta(a|s)}{\pi_0(a|s)} \hat{A}^{\pi_0}(s,a) \right] $$ 如果这个替代目标能很好拟合真实奖励景观，那么优化 ($L(\theta)$) 就应当提高 ($J(\theta)$)。 但论文整体结论指出，替代目标并不总能匹配真实奖励景观。([arXiv](https://arxiv.org/abs/1811.02553?utm_source=chatgpt.com "A Closer Look at Deep Policy Gradients")) 因此，reward fitting 的实质问题是： > 替代目标是否真能作为真实回报目标的可靠代理？ 这也是后文优化景观分析的核心。 --- **深度策略梯度算法在实践中使用的梯度估计质量并不高，尤其在复杂任务和训练后期更明显。** 更具体地说： 1. **同一策略下，不同 rollout 得到的梯度估计方向可能差异很大。** 2. **有限样本梯度向“大样本真实梯度”的收敛很慢。** 3. **在实际使用的样本规模下，梯度估计可能与真实梯度零相关甚至负相关。** 4. **尽管如此，智能体奖励仍然可能提高。** 5. **这说明策略梯度算法的经验成功不能简单归因于“准确估计真实策略梯度”。** 6. **actor 与 critic 同时训练，使优化动态比标准监督学习更难分析。** 最核心的理解是： > 策略梯度算法名义上在做梯度上升，但实际训练中的“梯度”可能只是一个噪声很大、偏差复杂、与真实梯度相关性有限的更新信号。算法能成功，不等于理论解释已经充分解释了成功机制。 --- **Likelihood-Ratio Trick（似然比技巧）**，在数学和机器学习文献中也常被称为**对数导数技巧（Log-Derivative Trick）**或**得分函数估计器（Score Function Estimator）**。 该技巧是强化学习（尤其是策略梯度算法 REINFORCE）和变分推断中的核心底层数学工具。其核心价值在于：**解决在目标函数（如环境奖励）完全黑盒或不可导的情况下，如何对期望值求梯度的问题。** 以下是该技巧的严谨数学推导及其工程意义解析： ### 1. 基础数学恒等式 该技巧的起点是一个极其简单的微积分法则——复合函数求导（链式法则）。对于任意关于参数 $\theta$ 可导的概率密度函数 $p_\theta(x)$，存在以下等式： $$\nabla_\theta \log p_\theta(x) = \frac{\nabla_\theta p_\theta(x)}{p_\theta(x)}$$ 将等式两边同时乘以 $p_\theta(x)$，即可得到似然比技巧的核心替换公式： $$\nabla_\theta p_\theta(x) = p_\theta(x) \nabla_\theta \log p_\theta(x)$$ ### 2. 期望的梯度推导过程 假设需要最大化某个函数 $f(x)$ 在概率分布 **$p_\theta(x)$** 下的期望值。目标函数定义为： $$J(\theta) = \mathbb{E}_{x \sim p_\theta}[f(x)]$$ 为寻找最优参数 $\theta$，需对目标函数求梯度： $$\nabla_\theta J(\theta) = \nabla_\theta \int p_\theta(x) f(x) dx$$ 在满足**勒贝格积分相关条件（即积分与导数可交换顺序）** 的前提下，将梯度符号移入积分号内。由于 $f(x)$ 本身不包含参数 $\theta$，偏导数仅作用于概率密度函数： $$\nabla_\theta J(\theta) = \int \nabla_\theta p_\theta(x) f(x) dx$$ 此时，应用第一步得出的核心替换公式，将 $\nabla_\theta p_\theta(x)$ 替换掉： $$\nabla_\theta J(\theta) = \int p_\theta(x) \nabla_\theta \log p_\theta(x) f(x) dx$$ **最后，观察等式右侧，由于积分内包含了概率密度函数 $p_\theta(x)$，可以将其重新无损地写回期望的形式：** $$\nabla_\theta J(\theta) = \mathbb{E}_{x \sim p_\theta}[f(x) \nabla_\theta \log p_\theta(x)]$$ ### 3. 为何这被称为一个“Trick（技巧）”？ 从工程落地与算法设计的角度来看，这一步数学转化具有极高的价值： - **完美绕过不可导障碍**：在原始推导中，面对 $\int \nabla_\theta p_\theta(x) f(x) dx$，若想通过蒙特卡洛采样来计算，往往需要 $f(x)$ 是一个已知且可导的解析式。但在强化学习中，$f(x)$ 代表环境返回的奖励值（Reward），环境往往是一个黑盒物理引擎、一段游戏代码或不可控的外部系统。通过 Likelihood-Ratio Trick，**求导操作被极其巧妙地转移到了概率分布 $p_\theta(x)$（即神经网络构建的策略模型）之上**。而黑盒函数 $f(x)$ 仅作为一个标量权重系数存在，不再需要任何可导性或解析表达。 - **实现无偏采样估计**：转化后的期望形式，允许算法直接在环境中进行模拟交互（Rollout）。只需从当前策略分布 $p_\theta$ 中采样 $N$ 个样本 $x_i$，即可将真实梯度近似为经验均值： $$\hat{g} = \frac{1}{N} \sum_{i=1}^N f(x_i) \nabla_\theta \log p_\theta(x_i)$$ ### 4. 固有的数学缺陷 尽管该技巧构成了现代策略梯度的基石，但其具有一个致命的统计学缺陷：**极高的估计方差（High Variance）**。 由于采样过程的随机性，且 $f(x)$ 可能取到绝对值极大的正负奖励，导致每次计算出的梯度方向震荡剧烈，使得神经网络极难收敛。为抑制这种高方差，现代强化学习算法必须引入额外的控制变量，最经典的手段便是引入一个**基线（Baseline）** 函数 $b(x)$，将公式改进为计算优势（Advantage）： $$\nabla_\theta J(\theta) = \mathbb{E}_{x \sim p_\theta}[(f(x) - b(x)) \nabla_\theta \log p_\theta(x)]$$ 该操作在不改变真实梯度期望（保持无偏性）的前提下，极大地缩小了方差，促成了诸如 Actor-Critic 等高级架构的诞生。 --- **代理目标（Surrogate Objective）**，或称**替代目标函数**，是数学优化与机器学习领域的底层核心概念。 当真实的优化目标函数存在数学分析上的严重缺陷（如阶跃不连续、导数处处为 0、高度非凸、难以解析计算，或涉及维度极高的积分）时，直接对其应用梯度下降等优化算法是不可行的。此时，算法会构造一个具备优良分析性质（如平滑、处处可导、具备凸性、易于采样求值）的替代函数。 优化该代理目标，能够在严格的数学界限或经验法则下，间接且可靠地改善真实目标。 --- ### 1. 严谨的数学定义与核心性质 在严谨的优化理论（尤其是**弱化最大化/主导最小化算法，MM Algorithm**）框架下，代理目标的有效性依赖于特定的数学约束。 **设真实的优化问题为寻找参数 $\theta$ 以最大化目标函数 $J(\theta)$。给定当前参数为 $\theta_{old}$，算法构造一个代理目标泛函 $\tilde{J}(\theta, \theta_{old})$。为保证对代理目标的优化能够单调提升真实目标（Monotonic Improvement），该代理目标必须满足以下三大核心条件**： 1. **局部等值（零阶一致性）**：在当前参数点，代理目标的值完全等于真实目标的值。$$\tilde{J}(\theta_{old}, \theta_{old}) = J(\theta_{old})$$ 2. **梯度匹配（一阶一致性）**：在当前参数点，代理目标的切线（梯度）与真实目标的梯度完全相同。此性质保证了优化方向在初始阶段的绝对正确性。$$\nabla_\theta \tilde{J}(\theta, \theta_{old}) \Big|_{\theta=\theta_{old}} = \nabla_\theta J(\theta) \Big|_{\theta=\theta_{old}}$$ 3. **全局下界（Minorization 约束）**：对于整个参数空间内的任意 $\theta$，代理目标的值永远不会超过真实目标的值。$$\tilde{J}(\theta, \theta_{old}) \le J(\theta), \quad \forall \theta$$ **理论升华**：只要上述条件成立，若能找到一个新的参数 $\theta_{new}$ 使得代理目标获得提升（即 $\tilde{J}(\theta_{new}, \theta_{old}) > \tilde{J}(\theta_{old}, \theta_{old})$），则根据不等式链传递，真实目标必然严格提升（$J(\theta_{new}) > J(\theta_{old})$）。优化过程因此被安全地限定在了这个“下界包络线”内。 --- ### 2. 深度学习与强化学习中的经典应用 代理目标并非只存在于抽象数学中，当今最前沿的深度学习算法几乎均建立在对各种代理目标的优化之上。 #### A. 强化学习中的近端策略优化 (PPO / TRPO) 在策略梯度（Policy Gradient）算法中，真实目标是最大化轨迹分布下的期望总回报 $J(\pi_\theta)$。然而，策略分布的微小改变可能导致轨迹分布发生灾难性的剧变（性能断崖）。 为解决此问题，TRPO 与 PPO 并不直接优化期望回报，而是利用重要性采样比率 $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{old}(a_t|s_t)}$ 与优势函数 $A_t$，构造了一个局部的代理目标： $$L^{surrogate}(\theta) = \mathbb{E}_{t} \left[ r_t(\theta) A_t \right]$$ **在 PPO 中，为了避免极其昂贵的二阶海森矩阵计算**，进一步施加了 **Clip 操作**，形成最终的截断代理目标（Clipped Surrogate Objective）： $$L^{CLIP}(\theta) = \mathbb{E}_{t} \left[ \min \left( r_t(\theta) A_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) A_t \right) \right]$$ 此代理目标通过强制削平导数空间，使得新旧策略的散度被限制在安全范围内，成为当前大语言模型 RLHF（基于人类反馈的强化学习）阶段的基石。 #### B. 分类任务中的交叉熵损失 (Cross-Entropy) 在图像或文本分类任务中，最终的真实业务目标是**最小化分类错误率（0-1 损失，0-1 Loss）**。 然而，0-1 损失是一个阶跃函数，其梯度要么是 0，要么不存在（无穷大），神经网络无法通过反向传播进行学习。 因此，深度学习引入了**交叉熵损失（Cross-Entropy Loss）**或对数损失作为分类错误率的代理目标。数学上已证明，交叉熵损失是 0-1 损失的**严格凸上界（Convex Upper Bound）**。只要优化器持续压低这个平滑可导的上界，真实的分类错误率必定随之下降。 #### C. 变分自编码器 (VAE) 中的证据下界 (ELBO) 在生成模型中，真实目标是最大化观测数据的对数边缘似然 $\log p(x)$。由于计算边缘似然需要对隐变量 $z$ 进行极其复杂的高维积分，该目标是不可求值（Intractable）的。 VAE 引入了近似后验分布 $q(z|x)$，推导出了著名的**证据下界（Evidence Lower Bound, ELBO）** 作为代理目标： $$\text{ELBO} = \mathbb{E}_{z \sim q(z|x)}[\log p(x|z)] - D_{KL}(q(z|x) \| p(z))$$ 优化 ELBO 这一代理目标，不仅绕过了难以计算的积分，同时在数学逻辑上等价于最大化数据的真实似然，并最小化了变分分布与真实隐变量后验分布之间的散度。 --- ### 3. 总结 构建代理目标的本质，是一场**将 NP-Hard 级别或不可解（Intractable）的原始问题，降维映射为多项式时间内可解的平滑优化问题**的妥协与艺术。掌握一个算法的核心，往往就在于看透其代理目标在原目标空间中究竟充当了下界、上界还是某种局部的泰勒近似。 --- **正则化（Regularization）** 的核心数学本质是：**通过引入额外的惩罚泛函或约束条件，限制模型假设空间的容量与复杂度，从而将“适定性不良（Ill-posed）”问题转化为“适定（Well-posed）”问题，并在经验风险与结构风险之间寻找最优权衡。** 以下从四个严谨的数学与统计视角进行深度剖析： ### 1. 统计学习理论视角：结构风险最小化 (SRM) 在机器学习中，标准的最优化目标通常是**经验风险最小化（Empirical Risk Minimization, ERM）**： $$R_{emp}(f) = \frac{1}{N} \sum_{i=1}^{N} L(y_i, f(x_i))$$ 若假设空间极其庞大（如拥有百万参数的深层神经网络），直接优化 ERM 极易导致对训练数据的完美拟合以及对未知数据的彻底失效，即过拟合（Overfitting）。 根据 Vapnik-Chervonenkis (VC) 理论，为限制泛化误差的上界，需遵循**结构风险最小化（Structural Risk Minimization, SRM）** 原则，即在目标函数中附加一个正则化泛函 $\Omega(f)$： $$R_{srm}(f) = R_{emp}(f) + \lambda \Omega(f)$$ 此处 $\lambda > 0$ 为超参数，控制约束力度。$\Omega(f)$ 是对函数复杂度的度量，旨在迫使学习算法在一个受限的子空间内寻找相对“平滑”或“简单”的解。 ### 2. 逆问题与线性代数视角：Tikhonov 正则化 在求解线性逆问题 $Ax = y$ 时，若算子 $A$ 存在奇异性或条件数（Condition Number）极高，问题便是适定性不良的。此时，观测向量 $y$ 中极其微小的噪声，都会导致解析解 $x$ 发生剧烈震荡。 为解决此病态问题，数值分析中引入了 **Tikhonov 正则化**，将目标修改为： $$\min_x \|Ax - y\|^2 + \lambda \| \Gamma x \|^2$$ 通常取 $\Gamma = I$（单位矩阵）。 此举在代数层面的严谨意义在于：将原本可能不可逆的矩阵 $A^T A$ 修改为 $(A^T A + \lambda I)$。由于 $\lambda I$ 是正定矩阵，相加后强行抬升了整个矩阵的特征值，使得海森矩阵（Hessian Matrix）变得严格正定，从而保证了凸优化问题存在唯一的全局最优解，彻底消除了由共线性引发的震荡。 ### 3. 贝叶斯推断视角：先验分布的引入 从概率与信息论视角审视，正则化完全等价于在**最大后验概率估计（Maximum A Posteriori, MAP）** 中引入了**参数的先验分布（Prior Distribution）**。 - **$L_2$ 正则化（Ridge 回归 / 权重衰减）**：惩罚项为 $\Omega(w) = \|w\|_2^2$。这等价于在贝叶斯框架下，假设模型参数 $w$ 服从均值为 $0$ 的**高斯先验分布（Gaussian Prior）**。此约束要求所有权重值尽可能均匀且趋近于 $0$，从而防止个别参数过大导致函数梯度突变，确保了输出流形的平滑性。 - **$L_1$ 正则化（Lasso 回归）**：惩罚项为 $\Omega(w) = \|w\|_1$。这等价于假设参数 $w$ 服从在 $0$ 处导数不连续且极度尖锐的**拉普拉斯先验分布（Laplace Prior）**。由于 $L_1$ 球的几何形状在坐标轴处存在尖角，优化轨线的等高线极易在坐标轴上相切，因而具有强烈的**特征选择与稀疏化（Sparsity）**能力。 ### 4. 广义与隐式视角 (Implicit Regularization) 在现代深度强化学习与神经网络中，正则化的范畴已被极大拓宽。并非所有正则化都表现为目标方程中的显式惩罚项，诸多算法设计本身便自带“隐式正则化”属性： - **提前停止（Early Stopping）**：限制梯度下降等优化算法在参数流形上的积分时间。数学上已证明，此操作在局部极小值附近的泰勒展开，完全等效于执行了显式的 $L_2$ 正则化。 - **随机失活（Dropout）**：在前向传播中随机注入伯努利噪声。此操作通过破坏神经元之间的共适应性（Co-adaptation），强制实现了一种在参数子空间上的集成学习（Ensemble），是一种极强的网络容量约束手段。 - **数据增强（Data Augmentation）**：通过向输入特征添加扰动，要求网络针对某种对称群（如平移、旋转不变性群）保持输出一致，这本质上是直接在函数的李导数层面施加了不变性正则约束。 --- 在强化学习中，**Rollout（推演/展开）**、**Episode（回合/幕）** 和 **Trajectory（轨迹）** 是三个极易混淆的概念。虽然在非正式交流中常被混用，但在严谨的算法设计和论文阅读中，它们分别侧重于**算法行为**、**环境边界**和**数据结构**。 以下是这三者的核心区别与内在联系： ### 1. Trajectory（轨迹）：侧重于“数据表示” **Trajectory 是一段纯粹的数学数据结构**，记录了智能体与环境交互的序贯历史。 - **定义**：一个包含状态、动作和奖励的序列，通常记为 $\tau$。$$\tau = (s_t, a_t, r_t, s_{t+1}, a_{t+1}, r_{t+1}, \dots)$$ - **特性**：Trajectory 没有严格的长度限制。它可以是极短的（例如只有 5 步的片段），也可以是贯穿数个回合的极长序列。在数学公式中，提及优化或期望计算时，通常是对 Trajectory 分布求积分。 - **角色**：它是强化学习算法进行梯度更新或价值估算的**底层原材料**。 ### 2. Episode（回合/幕）：侧重于“任务边界” **Episode 是由环境（Environment）设定的天然生命周期**，定义了任务的开始与结束。 - **定义**：从环境初始化（`env.reset()`）开始，一直运行到触发终止条件（如通关、失败、或达到最大时间步，即 `done=True`）为止的一个完整循环。 - **特性**：具有明确的起点和终点。一个 Episode 必然对应生成一条完整的 Trajectory。在情节性任务（Episodic Tasks，如超级玛丽、下棋）中，Episode 的概念极其重要；但在连续性任务（Continuing Tasks，如无休止运行的服务器调度）中，则没有 Episode 的概念。 - **角色**：它是衡量智能体整体表现的**评估刻度**（例如常说的“每个 Episode 的总奖励”）。 ### 3. Rollout（推演/展开）：侧重于“算法动作” **Rollout 是算法主动发起的执行过程**，是为了收集数据或探索未来而按照某策略进行模拟的“动作”。 - **定义**：使用特定策略在环境中步进（Step）并收集数据的实际运行过程。 - **与前两者的剥离**： - **Rollout 与 Episode 脱钩**：一次 Rollout 不一定等于一个 Episode。例如在 PPO 算法中，可能设定 Rollout 长度为 2048 步。如果环境在第 100 步就结束了（一个 Episode 完成），环境会立刻 Reset，Rollout 会继续收集下一个 Episode 的数据，直到凑满 2048 步。反之，若环境非常复杂，一次 2048 步的 Rollout 可能只截取了半个 Episode。 - **Rollout 与 Trajectory 的关系**：Rollout 这个“动作”的直接产物，就是生成了一段或多段 Trajectory 数据。 - **角色**：它是连接策略网络与经验回放池（Buffer）的**数据搬运工**。 --- ### 4. 直观的比喻（以录制游戏通关视频为例） - **Episode**：游戏本身的机制。从按下“Start”键开始，直到屏幕显示“Game Over”或“通关”，这一个**完整的游戏局**就是一个 Episode。 - **Trajectory**：录像文件本身。无论录像记录了完整的通关过程，还是仅仅截取了中间打 Boss 的 10 秒钟片段，这个**包含所有操作和画面的录像带**就是 Trajectory。 - **Rollout**：按下录影键的操作。为了获得分析数据，**决定使用某种打法连续玩 2 个小时并把全过程录下来**，这个执行收集任务的动作就是 Rollout。 ### 总结表格对比 |**概念**|**核心侧重点**|**视角归属**|**长度特征**|**典型语境**| |---|---|---|---|---| |**Trajectory**|数据结构与序列|数学与存储|任意长度，可长可短|“计算这条 Trajectory 的回报期望”| |**Episode**|任务起始与终止|环境 (Environment)|严格从 Reset 到 Done|“智能体在 1000 个 Episode 后收敛”| |**Rollout**|模拟与收集过程|算法与策略 (Algorithm)|由算法超参数强行规定|“执行一次长度为 $N$ 的 Rollout 来填满 Buffer”| --- **期望风险（Expected Risk）** 与**经验风险（Empirical Risk）** 是统计学习理论（Statistical Learning Theory）中最底层的两大基石概念。透彻理解这两者之间的对立统一关系，便是掌握了机器学习中“泛化（Generalization）”与“过拟合（Overfitting）”的数学本质。 以下是对这两个概念及其内在逻辑的详细且严谨的解析，全程秉持客观事实描述。 ### 1. 期望风险：理想世界中的“绝对真理” 在构建机器学习模型时，终极目标是寻找到一个预测函数 $f(X)$，使其在**所有潜在的、未来可能出现的**数据上都能做出最准确的预测。 - **前提假设**：假设输入空间 $X$ 和输出空间 $Y$ 的所有数据点，均服从一个客观存在但**完全未知**的联合概率分布 $P(X, Y)$。 - **数学定义**：对于选定的损失函数 $L(Y, f(X))$，模型 $f(X)$ 在该真实分布下的平均损失，被称为**期望风险（Expected Risk）**，也常被称为**真实风险（True Risk）**。 其数学表达式为泛函积分： $$R_{exp}(f) = \mathbb{E}_{(X,Y) \sim P}[L(Y, f(X))] = \int \int L(y, f(x)) P(x, y) dx dy$$ - **核心困境**：因为真实的联合分布 $P(X, Y)$ 永远是未知且无法被穷尽的，期望风险是一个存在于上帝视角下的理论值，**在现实中永远无法直接计算，更无法直接进行数学求导与优化**。 --- ### 2. 经验风险：现实世界中的“可测量投影” 既然无法获取全体数据，现实中的唯一途径是通过采样，获得一个容量有限的训练数据集 $D = \{(x_1, y_1), (x_2, y_2), \dots, (x_N, y_N)\}$。 - **数学定义**：模型 $f(X)$ 在这个给定的、有限的训练数据集上的平均损失，被称为**经验风险（Empirical Risk）**。 其数学表达式为有限项求和： $$R_{emp}(f) = \frac{1}{N} \sum_{i=1}^{N} L(y_i, f(x_i))$$ - **现实意义**：经验风险是一个实实在在的、可以通过计算机程序（如前向传播）精确计算出来的标量数值。 --- ### 3. 两者的桥梁：经验风险最小化 (ERM) 与大数定律 既然期望风险不可解，机器学习必须寻找一个**代理目标（Surrogate Objective）**。 依据概率论中的**大数定律（Law of Large Numbers）**，当采样样本容量 $N$ 趋于无穷大时，经验风险将依概率收敛于期望风险： $$\lim_{N \to \infty} R_{emp}(f) = R_{exp}(f)$$ 基于这一理论保证，确立了机器学习中最朴素的优化准则——**经验风险最小化（Empirical Risk Minimization, ERM）**。该准则主张，在假设空间 $\mathcal{F}$ 中，使得经验风险最小的函数 $f^*$，即为最优模型： $$f^* = \arg\min_{f \in \mathcal{F}} R_{emp}(f)$$ 如今深度学习中利用梯度下降法不断压低训练集上的交叉熵损失或均方误差，正是 ERM 原则的直接体现。 --- ### 4. 两者的致命鸿沟：泛化误差界与过拟合 大数定律成立的前提是 $N \to \infty$。但在现实物理与工程世界中，数据量 $N$ 永远是有限的。在此情况下，期望风险与经验风险之间必然存在差距，这个差距的数学衡量即为**泛化误差（Generalization Error）**。 根据 Vapnik-Chervonenkis (VC) 理论，期望风险存在一个严格的数学上界： $$R_{exp}(f) \le R_{emp}(f) + \epsilon(N, h, \delta)$$ 式中： - $R_{emp}(f)$ 为经验风险。 - $\epsilon(N, h, \delta)$ 为置信区间（惩罚项），它与样本数量 $N$ 成反比，与模型的复杂度（即 VC维 $h$）成正比。 **过拟合（Overfitting）的数学本质：** 当样本数量 $N$ 有限，且强行使用复杂度极高（$h$ 极大）的假设空间（如拥有上亿参数的深层神经网络）去极致追求 ERM 时，模型会死记硬背训练集中的每一个噪声与离群点。 此时，**经验风险 $R_{emp}(f)$ 被强行降至接近 0，但惩罚项 $\epsilon$ 却因模型过于复杂而急剧膨胀，最终导致期望风险 $R_{exp}(f)$ 极高。** 模型在测试集上表现彻底崩溃。 --- ### 5. 最终解决方案：结构风险最小化 (SRM) 为防止经验风险与期望风险彻底脱节，必须人为限制假设空间的复杂度，这便引出了**结构风险最小化（Structural Risk Minimization, SRM）**。 SRM 准则主张，不应仅仅优化经验风险，而应优化上述的泛化误差上界。具体操作是在经验风险函数后方，显式地附加一个表示模型复杂度的正则化项（Regularization Term） $J(f)$： $$R_{srm}(f) = R_{emp}(f) + \lambda J(f)$$ - 通过调节超参数 $\lambda$，迫使模型在“降低训练误差（逼近数据）”与“降低模型复杂度（保持函数平滑）”之间达成妥协。 - 这一举措确保了经验风险与期望风险之间的鸿沟被锁定在可控范围内，将适定性不良的纯粹拟合问题，转化为具备泛化保障的适定问题。 --- 在许多设定中，衡量样本复杂度的相关指标，即**状态—动作对的数量**，可能与每次训练迭代中使用的**独立样本数量**，**即完整轨迹的数量**，存在巨大差异。后者具有两个特点： 1. 它通常远低于状态—动作对的数量； 2. 它会在训练迭代过程中逐渐减少。 上述所有因素使得很难判断经典设定中的直觉在多大程度上能够迁移到深度强化学习场景中。并且，截至目前，策略梯度框架对于梯度估计方差及其对奖励优化的影响，几乎不能提供预测能力。 本文结果表明，尽管强化学习具有严格的理论框架，但对于奖励景观的结构和优化过程，当前仍缺乏精确理解。 --- # 核心问题：状态—动作对数量不等于独立样本数量 这段文字最重要的区分是： $$ \text{状态—动作对数量} \neq \text{独立轨迹数量} $$ 在强化学习中，一条轨迹可以表示为： $$ \tau = (s_0,a_0,r_0,s_1,a_1,r_1,\ldots,s_T,a_T,r_T) $$ 其中每一个 ((s_t,a_t)) 都是一个状态—动作对。 假设一次训练迭代收集了 2000 个状态—动作对。如果每条轨迹长度为 100，那么大约有： $$ \frac{2000}{100}=20 $$ 条完整轨迹。 如果每条轨迹长度为 1000，那么大约只有： $$ \frac{2000}{1000}=2 $$ 条完整轨迹。 因此，即使状态—动作对数量固定，独立轨迹数量也可能大幅变化。 这里的关键点是：**同一条轨迹内部的状态—动作对并不是独立样本**。它们由同一个环境动态和同一个策略连续生成，存在强时间相关性。例如： $$ s_{t+1} \sim P(\cdot|s_t,a_t) $$ 所以 $(s_t,a_t)$ 和 $(s_{t+1},a_{t+1})$ 不是独立抽样。若把所有状态—动作对都当成独立样本，会高估有效样本量。 --- # 为什么独立轨迹数量会在训练中减少？ **原文说完整轨迹数量会在训练过程中减少。原因通常是：策略变好后，episode 更长。** 以 MuJoCo 控制任务为例，早期策略经常快速失败，episode 很短。若每次迭代固定收集约 2000 个 time steps，则早期可能包含很多条短轨迹。 训练后期，策略能维持更长时间的运动，episode 长度增加。在固定状态—动作对总数下，完整轨迹数量自然减少。 形式化地说，设每次迭代固定收集 (N) 个状态—动作对，平均轨迹长度为 $(\bar{T}$)，则完整轨迹数量大约为： $$ M \approx \frac{N}{\bar{T}} $$ 当训练推进导致 ($\bar{T}$) 增大时： $$ M \downarrow $$ 这意味着，尽管每次更新仍有相同数量的状态—动作对，真正独立的 rollout 数量反而减少。这样会降低梯度估计的有效独立样本数量。 --- # 为什么这会影响梯度估计方差？ 策略梯度估计通常可以写成： $$ \hat{g} = \frac{1}{N} \sum_{i=1}^{N} \nabla_\theta \log \pi_\theta(a_i|s_i) \hat{A}(s_i,a_i) $$ **如果 $(s_i,a_i)$是独立同分布样本，那么样本均值的方差通常随 ($N$) 增大而下降：** $$ \mathrm{Var}(\hat{g}) \propto \frac{1}{N} $$ 但强化学习中的样本来自轨迹，同一条轨迹内部高度相关。因此实际有效样本数不等于 (N)。**更准确地说，有效样本数更接近“独立轨迹数量”或“相关性校正后的样本数量”。** **如果完整轨迹数量很少，那么梯度估计可能高度依赖少数轨迹。** 例如，在 Humanoid 中，只要少数轨迹偶然产生较高或较低回报，就可能显著改变优势估计和梯度方向。 **因此，状态—动作对数量看似很多，但梯度估计仍然可能非常不稳定。** --- # 五、为什么经典直觉不能直接迁移到深度 RL？ 在经典统计或监督学习中，常见直觉是： $$ \text{样本数越多} \Rightarrow \text{估计方差越低} \Rightarrow \text{梯度方向越可靠} $$ 但在深度强化学习中，这个链条不一定成立，原因包括： | 因素 | 监督学习 | 深度强化学习 | | --------- | --------------------- | ---------------------------- | | 数据分布 | 通常固定 | 随策略变化 | | **样本独立性** | **mini-batch 样本近似独立** | **同一轨迹内样本强相关** | | 标签 | 通常固定 | 回报和优势依赖 rollout 与 value 估计 | | 目标函数 | 通常明确 | 常用替代目标 | | **梯度噪声来源** | **数据抽样噪声** | **环境随机性、策略随机性、轨迹长度、优势估计、价值网络误差** | 因此，不能简单地把深度 RL 中的梯度方差理解为普通 SGD 中的 mini-batch 方差。 这也是原文所说的： > classical settings 中的直觉未必能迁移到 deep RL regime。 --- # “policy gradient framework provides little predictive power” 的含义 这句话不是说策略梯度理论错误，而是说： **现有策略梯度框架很难预测实际深度 RL 训练中的梯度方差如何变化，以及这种方差如何影响最终奖励优化。** 理论上，策略梯度方法有清晰形式： $$ \nabla_\theta J(\theta) = \mathbb{E} \left[ \nabla_\theta \log \pi_\theta(a|s) A^\pi(s,a) \right] $$ 但是实践中需要回答更具体的问题： 1. 用 2000 个状态—动作对估计梯度，方向是否可靠？ 2. 训练后期梯度估计为什么变差？ 3. 轨迹数量减少会如何影响方差？ 4. **梯度估计与真实梯度低相关时，为什么奖励仍可能提高？** 5. value network 是否真的降低了足够的梯度方差？ 6. PPO/TRPO 的替代目标是否真的改善真实奖励？ 现有理论框架不能充分预测这些现象。Ilyas 等人的论文摘要也指出，深度策略梯度方法中，梯度估计与“真实”梯度相关性较差，替代目标与真实奖励景观不匹配，学习得到的价值估计器也不能很好拟合真实价值函数。([arXiv](https://arxiv.org/abs/1811.02553?utm_source=chatgpt.com "A Closer Look at Deep Policy Gradients")) --- # 经验方差 > 同一个策略下，不同 rollout 得到的梯度估计方向是否一致？ 做法是固定策略 ($\pi$)，独立采样十批 rollout，得到十个梯度估计： $$ \hat{g}_1,\hat{g}_2,\ldots,\hat{g}_{10} $$ 然后计算所有两两之间的余弦相似度： $$ \cos(\hat{g}_i,\hat{g}_j) = \frac{ \langle \hat{g}_i,\hat{g}_j\rangle }{ |\hat{g}_i||\hat{g}_j| } $$ 若平均余弦相似度接近 1，表示不同 rollout 得到的梯度方向相近，方差低。 若接近 0，表示不同梯度方向几乎无关。 若小于 0，表示不同估计之间甚至方向相反。 结论是：在标准样本规模，即大约 2K 状态—动作对附近，梯度估计并不集中。**也就是说，不同 rollout 产生的梯度方向差异较大。** 这说明： $$ 2K \text{ 状态—动作对} $$ 在高维复杂任务中可能远远不够获得稳定梯度方向。 --- 向真实梯度收敛 > 有限样本梯度估计是否接近“真实”梯度？ 真实梯度无法精确计算，因此论文使用一千万个状态—动作对构造一个大样本参考梯度： $$ g_{\text{true}} $$ 然后对不同样本规模 (N)，计算： $$ \cos(\hat{g}_N,g_{\text{true}}) $$ 如果 (N) 增大，余弦相似度应当上升。理论直觉是： $$ N \uparrow \Rightarrow \hat{g}_N \to g_{\text{true}} $$ 确实可以通过大量样本估计真实梯度，但所需样本量比实际常用规模大很多。标准实现中使用的约 2K 样本，通常不足以使梯度估计高度接近真实梯度。 更重要的是，训练越往后，估计任务越困难。这与朴素直觉相反。直觉上，策略变好、value network 变成熟后，梯度估计似乎应当更可靠；但实验显示并不一定如此。 --- # 为什么训练后期梯度估计更困难？ 可能机制包括以下几点。 **第一，episode 变长，完整轨迹数量减少。固定 2K 状态—动作对时，后期可获得的独立轨迹更少。** **第二，策略访问的状态分布更复杂。早期策略可能很快失败，状态分布集中在简单区域；后期策略存活更久，进入更多复杂状态。** **第三，策略可能变得更确定。动作概率分布变尖锐后，少数动作概率变化可能导致梯度估计更敏感。** **第四，优势估计误差仍然存在。即使 value network 在训练 loss 上表现较好，也不意味着它准确拟合真实价值函数；该论文明确指出，学习得到的 value estimator 往往不能很好拟合真实 value function。**([OpenReview](https://openreview.net/forum?id=ryxdEkHtPS&utm_source=chatgpt.com "A Closer Look at Deep Policy Gradients")) 第五，actor 和 critic 同时变化。策略网络改变采样分布，价值网络改变优势估计，两者耦合后导致训练动态非平稳。 因此，训练后期梯度估计不一定更准确，甚至可能更差。 --- Humanoid-v2 是高维连续控制任务。与 Hopper-v2、Walker2d-v2 相比，**它通常具有更高维状态、更高维动作、更复杂动力学和更长时序依赖**。 这会导致： $$ \text{梯度维度更高} $$ $$ \text{轨迹方差更大} $$ $$ \text{信用分配更困难} $$ $$ \text{有限样本估计更不稳定} $$ --- # bootstrap 置信区间是什么意思？ 原文说置信区间通过 500 次 sample bootstrapping 计算得到。 bootstrap 是一种重采样方法。基本思想是：从已有实验结果中反复有放回采样，重新计算统计量，从而估计该统计量的不确定性。 例如，对余弦相似度集合： $$ c_1,c_2,\ldots,c_m $$ 进行有放回重采样，重复 500 次，每次计算平均值，得到一个经验分布，再从该分布中取 95% 区间。 因此，图中的阴影区域表示统计估计的不确定性，而不是环境奖励本身的范围。 --- **在深度策略梯度算法中，常用的状态—动作对数量并不能充分代表有效独立样本数量。由于轨迹内部相关、完整轨迹数量较少且训练中可能进一步减少，实际梯度估计的方差可能很高。** 进一步说： 1. 标准实现中约 2K 状态—动作对的样本规模，往往不足以产生高度集中的梯度估计。 2. 若要让梯度估计接近大样本近似的“真实梯度”，需要数倍于实践常用规模的样本。 3. 训练越往后，梯度估计任务可能越困难。 4. 这些现象不能由传统策略梯度理论直接预测。 5. 因此，深度 RL 的优化过程不能简单理解为“用有限样本准确估计真实梯度，然后执行梯度上升”。 最核心的一句话是： > 深度策略梯度算法虽然以严格的策略梯度理论为基础，但在实际样本规模、轨迹相关性、训练动态和奖励景观结构共同作用下，真实优化过程远比理论框架中的理想图景复杂。 --- 下面先给出翻译，再解释这段的机制。此段来自 Ilyas 等人的 **A Closer Look at Deep Policy Gradients**，论文核心是检查现代深度策略梯度算法中的基本构件是否真正符合其理论动机，其中包括梯度估计、价值预测和优化景观。([arXiv](https://arxiv.org/abs/1811.02553?utm_source=chatgpt.com "A Closer Look at Deep Policy Gradients")) --- ## 价值预测 策略梯度在其原始形式中就被认为难以估计，因此相关算法采用了多种方差降低方法。其中最常见的技术是使用一个 **基线函数**。具体而言，策略梯度可以写成如下等价形式： $$ \hat{g}_\theta = \mathbb{E}_{\tau\sim\pi_\theta} \left[ \sum_{(s_t,a_t)\in\tau} \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot \bigl( Q^{\pi_\theta}(s_t,a_t)-b(s_t) \bigr) \right] \tag{2} $$ 其中，$b(s_t)$是状态 $s_t$ 的某个固定函数。基线函数的一个典型选择是价值函数 $V^\pi(s)$，也就是从给定状态出发的期望回报： $$ V^{\pi_\theta}(s_t) = \mathbb{E}_{\pi_\theta}[R_t|s_t] \tag{3} $$ 事实上，拟合一个价值估计函数，并将其作为基线函数，正是大多数深度策略梯度方法采用的做法。在深度强化学习设定下，这个价值估计函数通常是一个神经网络。具体来说，训练一个价值网络，使得： $$ \theta_t = \arg\min_\theta \mathbb{E} \left[ \left( V^\pi_\theta(s_t) - \bigl( V^\pi_{\theta_{t-1}}(s_t)+A_t \bigr) \right)^2 \right] \tag{4} $$ 其中，$V^\pi_{\theta_{t-1}}(s_t)$是上一轮价值函数给出的估计，$A_t$是当前策略的优势，即回报减去估计价值。通常，$A_t$使用 generalized advantage estimation，即 GAE，进行估计。GAE 的原始论文将近似价值函数用于优势估计，以降低策略梯度估计的方差，同时引入可调的偏差—方差权衡。([arXiv](https://arxiv.org/abs/1506.02438?utm_source=chatgpt.com "High-Dimensional Continuous Control Using Generalized Advantage Estimation")) --- ## 将价值预测视为监督学习问题 首先，从价值网络所解决的监督学习问题角度分析它。毕竟，公式（4）描述的是一个经验风险最小化问题，也就是在采样到的一组 $(s_t,a_t)$上最小化某个损失函数。 因此，需要提出两个问题： 1. ($V^\pi_\theta$) 作为公式（4）的解，表现如何？ 2. 公式（4）作为学习真实价值函数的代理目标，表现如何？ 价值网络确实能够成功拟合给定的损失函数，并且能够泛化到未见过的数据上，表现为较低且稳定的平均相对误差，即 MRE。然而，由公式（4）诱导出来的监督学习问题，并不会使 ($V^\pi_\theta$) 学到背后的真实价值函数。 --- ## 价值网络是否真的降低了方差？ 虽然像上面那样评估 $(V^\pi_\theta$) 作为价值预测器的质量是有信息量的，但归根结底，价值函数的唯一用途是降低方差。因此，关键问题是：使用这个价值函数实际如何影响梯度估计的方差？ 为回答这个问题，本文比较了三种 baseline 所带来的方差降低效果： 1. 训练中实际使用的价值网络； 2. “真实”价值函数； 3. 平凡的“零”基线函数，也就是直接用 returns 替代 advantages。 结果表明，“真实”价值函数能够产生方差低得多的梯度估计。在实际算法运行的样本规模下，这一点尤其明显。 不过需要注意的是，尽管价值网络并不能有效预测真实价值函数，也不能带来与真实价值函数相同程度的方差降低，但与“零”基线相比，它仍然在一定程度上有帮助。此外，与“真实”基线函数相比，价值网络所提供的梯度相关性提升看起来似乎很小，但最终会带来显著的智能体性能提升。事实上，没有 baseline 训练出来的智能体，最终奖励几乎低一个数量级。 这些发现表明，对于价值网络在智能体训练中的作用，仍然需要更好的理解。本文将在第 3 节讨论由此引出的若干问题。 --- MuJoCo Walker2d-v2 任务中，价值预测在 heldout state-action pairs 上的质量，用平均相对误差 MRE 衡量。 左图表明，智能体确实成功解决了它被训练去解决的监督学习任务：基于 GAE 的价值损失 $$ (V_{\text{old}}+A_{\text{GAE}})^2 $$ 上的 MRE 很小。 returns MRE 仍然很高：学习到的价值函数相对于底层真实价值函数大约有 50% 的误差。 --- Walker2d-v2 和 Hopper-v2 智能体中，价值网络作为方差降低 baseline 的效果。 本文测量公式（1）中梯度估计的经验方差，并考察该方差如何随用于估计的状态—动作对数量变化而变化。比较的 baseline 包括： 1. 训练中实际使用的价值网络； 2. “真实”价值函数，即使用从当前策略采样的 ($5\cdot 10^6$) 个状态—动作对拟合 returns 得到的价值函数； 3. “零”价值函数，即用 returns 替代 advantages。 实验观察到，使用真实价值函数相比使用价值网络，会产生显著更低方差的梯度估计。相应地，相比零 baseline，使用价值网络确实能带来可见的方差降低，尽管在小样本规模，即 2K 状态—动作对附近，这种差异看起来可能比较小。置信区间通过 10 次 sample bootstrapping 计算得到。 --- # **value network的核心问题 **value network 到底在深度策略梯度中起什么作用**。 在经典 actor-critic 解释中，critic 或 value network 的作用通常是： $$ V_\phi(s) \approx V^\pi(s) $$ 然后用它构造优势函数： $$ A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s) $$ 再把优势函数放入策略梯度： $$ \nabla_\theta \log \pi_\theta(a|s)A^\pi(s,a) $$ 理论叙事是： > 价值函数越准确，优势估计越可靠，策略梯度方差越低，训练越稳定。 这篇论文的问题是：**深度 RL 实践中的 value network 是否真的符合这个叙事？** 答案是：只部分符合。 - value network 能拟合训练目标； - value network 不能很好拟合真实价值函数； - value network 确实降低了一些梯度方差； - 但远不如“真实价值函数”作为 baseline 时有效； - 尽管方差降低看似有限，它对最终性能仍然非常重要。 这说明 value network 的实际作用比“准确估计真实价值函数”更复杂。 --- # 为什么 baseline 不改变策略梯度期望？ 公式（2）为： $$ \hat{g}_\theta= \mathbb{E}_{\tau\sim\pi_\theta} \left[ \sum_t \nabla_\theta \log \pi_\theta(a_t|s_t) \bigl( Q^{\pi_\theta}(s_t,a_t)-b(s_t) \bigr) \right] $$ 其中 $b(s_t)$是只依赖状态、不依赖动作的 baseline。 关键性质是： $$ \mathbb{E}_{a\sim\pi_\theta(\cdot|s)} = \nabla_\theta \log \pi_\theta(a|s)b(s) =0 $$ 原因如下： $$ \mathbb{E}_{a\sim\pi_\theta} = \nabla_\theta \log \pi_\theta(a|s)b(s) = b(s)\sum_a \pi_\theta(a|s)\nabla_\theta \log \pi_\theta(a|s) $$ 利用恒等式： $$ \nabla_\theta \log \pi_\theta(a|s) = \frac{\nabla_\theta \pi_\theta(a|s)} {\pi_\theta(a|s)} $$ 得到： $$ b(s)=\sum_a \pi_\theta(a|s) \frac{\nabla_\theta \pi_\theta(a|s)} {\pi_\theta(a|s)} = b(s)\sum_a \nabla_\theta \pi_\theta(a|s) $$ 而： $$ \sum_a \pi_\theta(a|s)=1 $$ 所以： $$ \sum_a \nabla_\theta \pi_\theta(a|s) = \nabla_\theta \sum_a \pi_\theta(a|s) = \nabla_\theta 1=0 $$ 因此： $$ \mathbb{E}_{a\sim\pi_\theta} [ \nabla_\theta \log \pi_\theta(a|s)b(s) ] =0 $$ 这说明，只要 ($b(s)$) 不依赖动作，它不会改变策略梯度的期望方向。Sutton 等人的策略梯度定理正是将梯度写成可由经验估计的形式，并允许借助动作价值或优势函数进行估计。([NeurIPS Papers](https://papers.neurips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) baseline 的作用不是改变期望，而是改变方差。 --- # 为什么 ($V^\pi(s)$) 是典型 baseline？ 真实价值函数定义为： $$ V^\pi(s) = \mathbb{E}_\pi \left[ R_t|s_t=s \right] $$ 其中 ($R_t$) 是从 ($t$) 时刻开始的累计回报，例如： $$ R_t = \sum_{k=0}^{\infty}\gamma^k r_{t+k} $$ 如果使用： $$ b(s)=V^\pi(s) $$ 那么公式（2）变成： $$ \mathbb{E} \left[ \nabla_\theta \log \pi_\theta(a_t|s_t) \bigl( Q^\pi(s_t,a_t)-V^\pi(s_t) \bigr) \right] $$ 括号中的项就是优势函数： $$ A^\pi(s_t,a_t) = Q^\pi(s_t,a_t)-V^\pi(s_t) $$ 优势函数表示： > 在状态 ($s_t$) 下，动作 ($a_t$) 相比该状态下策略的平均行为好多少。 如果 ($A^\pi(s,a)>0$)，说明该动作比平均水平好，应提高其概率。 如果 ($A^\pi(s,a)<0$)，说明该动作比平均水平差，应降低其概率。 所以，使用价值函数作为 baseline 的理论动机是： $$ \text{用相对好坏} \quad \text{替代} \quad \text{绝对回报} $$ 这通常能显著降低梯度估计方差。 --- # 公式（4）到底在训练什么？ 原文中的公式（4）可以理解为 value network 的回归目标： $$ \theta_t = \arg\min_\theta \mathbb{E} \left[ \left( V_\theta(s_t) - \bigl( V_{\theta_{t-1}}(s_t)+A_t \bigr) \right)^2 \right] $$ 这里需要注意：严格写法中，策略参数通常记为 ($\theta$)，价值网络参数常记为 ($\phi$)。为了避免混淆，可以改写为： $$ \phi_t = \arg\min_\phi \mathbb{E} \left[ \left( V_\phi(s_t) - \hat{R}_t \right)^2 \right] $$ 其中： $$ \hat{R}_t = V_{\phi_{t-1}}(s_t)+\hat{A}_t $$ 如果 ($\hat{A}_t$) 由 GAE 得到，则： $$ \hat{R}_t = V_{\text{old}}(s_t)+A_{\text{GAE}}(s_t,a_t) $$ 这就是原文中提到的： $$ V_{\text{old}}+A_{\text{GAE}} $$ **它是 value network 的训练标签。** 关键问题在于： $$ V_{\text{old}}+A_{\text{GAE}} \neq V^\pi(s) $$ 它只是一个由有限 rollout、旧 value network、折扣因子、GAE 参数 ($\lambda$)、bootstrapping 机制共同构造出来的训练目标。GAE 的设计本身就是在偏差和方差之间权衡，而不是无条件给出真实价值函数。([arXiv](https://arxiv.org/abs/1506.02438?utm_source=chatgpt.com "High-Dimensional Continuous Control Using Generalized Advantage Estimation")) --- # “拟合训练目标”不等于“拟合真实价值函数” 这是本节最重要的区分。 论文发现： $$ \text{value network 能很好拟合公式（4）的标签} $$ 但是： $$ \text{value network 不能很好拟合真实 } V^\pi(s) $$ 这两个命题并不矛盾。 原因是 value network 被训练去拟合的不是严格的真实价值函数，而是： $$ V_{\text{old}}(s_t)+A_{\text{GAE}}(s_t,a_t) $$ 该目标受到以下因素影响： 1. **旧 value network 的误差** 目标中包含 $V_{\text{old}}$，若旧价值函数本身有偏差，训练标签也会继承这种偏差。 2. **GAE 的偏差—方差权衡** GAE 使用 ($\lambda$) 参数在 Monte Carlo return 和 TD 估计之间插值。较小 ($\lambda$) 通常降低方差但增加偏差；较大 ($\lambda$) 通常降低偏差但增加方差。 3. **有限样本 rollout** return 和 advantage 都来自有限轨迹，具有采样噪声。 4. **策略分布变化** value network 拟合的是当前或旧策略数据分布下的状态，未必能准确拟合其他状态区域。 因此，value loss 很低只说明： $$ V_\phi(s) \approx V_{\text{old}}(s)+A_{\text{GAE}} $$ 并不说明： $$ V_\phi(s)\approx V^\pi(s) $$ 核心含义。 --- # 七、MRE 是什么？ MRE 是 mean relative error，即平均相对误差。形式上可写为： $$ \text{MRE} = \mathbb{E} \left[ \frac{|V_\phi(s)-y(s)|}{|y(s)|+\epsilon} \right] $$ 其中 ($y(s)$) 是被比较的目标，($\epsilon$) 用于避免分母为零。 图 3 中有两种 MRE： 第一种是对训练标签的 MRE： $$ y(s)=V_{\text{old}}(s)+A_{\text{GAE}}(s) $$ 这项误差低，说明 value network 拟合训练目标效果好。 第二种是对真实 return 的 MRE： $$ y(s)=\text{return} $$ 这项误差高，说明 value network 和真实价值函数仍有较大偏差。 原文说 Walker2d-v2 中 learned value function 相对真实价值函数大约偏离 50%。这意味着 critic 不是一个精确的真实价值预测器。 --- # baseline 的三个版本 比较三种 baseline。 ## 1. Zero baseline 零 baseline 等价于： $$ b(s)=0 $$ 于是策略梯度项变成： $$ \nabla_\theta \log \pi_\theta(a_t|s_t)R_t $$ 这接近 REINFORCE 风格，用完整 return 直接加权策略梯度。问题是方差通常很大。 ## 2. Learned value network baseline 这是训练中实际使用的： $$ b(s)=V_\phi(s) $$ **它不一定准确拟合真实价值函数，但仍可能消除一部分状态相关的回报波动，因此能降低方差。** ## 3. True value function baseline 这是论文用于分析的参考对象： $$ b(s)=V^\pi_{\text{true}}(s) $$ 实际中真实价值函数无法直接获得，所以论文用从当前策略采样的 ($5\cdot 10^6$) 个状态—动作对拟合 returns，构造一个近似“真实”的 value function。 它的作用是回答： > 如果 baseline 真能接近真实价值函数，梯度方差能降低多少？ 真实 value baseline 带来的方差降低明显强于 learned value network。 --- # 为什么真实价值函数能更强地降低方差？ 策略梯度中，回报可以分解为： $$ Q^\pi(s,a) = V^\pi(s)+A^\pi(s,a) $$ **其中 $V^\pi(s)$ 是状态本身带来的平均回报水平**，$A^\pi(s,a)$ 是动作相对该状态平均水平的增量。 **如果不用 baseline，梯度项包含大量与动作选择无关的状态价值波动**。例如某些状态本来就高回报，某些状态本来就低回报。这样的状态差异会进入梯度估计，增加方差。 使用真实价值函数后： $$ Q^\pi(s,a)-V^\pi(s)=A^\pi(s,a) $$ **梯度只关注“动作相对平均水平的好坏”，因此方差显著降低。** 如果 $V_\phi(s)$与 $V^\pi(s)$偏差很大，则只能部分去除状态价值波动。因此 learned value network 的方差降低弱于 true value baseline。 --- # 为什么 value network 不够准确却仍然显著提高性能？ 这是本节的一个反直觉点。 论文发现： $$ \text{value network 相比 true baseline 的方差降低有限} $$ 但同时： $$ \text{value network 相比 zero baseline 显著提高最终奖励} $$ 也就是说，value network 并非“高质量真实价值函数”，但仍然对训练非常关键。 可能机制包括： 1. **部分方差降低也足够重要** 在高方差策略梯度中，即使梯度相关性略微提高，也可能显著改善优化方向。 2. **baseline 改善梯度尺度** 去掉状态平均回报成分后，梯度数值范围可能更稳定，优化器更容易工作。 3. **value network 与 advantage normalization 等机制共同作用** 实际 PPO/TRPO 实现中，value network 往往与 GAE、优势归一化、clip、学习率等机制耦合。性能提升不一定只来自“准确价值预测”。 4. **critic 可能提供有偏但有用的训练信号** 在深度 RL 中，有偏估计并不必然降低性能。若偏差方向与有效策略改进相关，它仍可能帮助训练。 因此，价值网络的作用不能简单概括为： $$ \text{value network} = \text{真实价值函数估计器} $$ 更严谨的说法是： $$ \text{value network 是一个由特定训练目标塑造的方差控制与优化辅助模块} $$ --- # 对 actor-critic 理解的影响 经典 actor-critic 图景是： $$ \text{critic 学 } V^\pi $$ $$ \text{actor 用 critic 构造优势并更新策略} $$ 但本节结果表明，现代深度策略梯度中的 critic 行为更复杂： | 理论预期 | 实验现象 | | ----------------------------- | --------------------------------------------------- | | critic 应拟合真实 $V^\pi(s)$ | value network 拟合训练标签，但真实 value 误差仍高 | | 更好的 critic 应显著降低梯度方差 | learned value baseline 的方差降低远弱于 true value baseline | | value network 作用可由“价值预测准确性”解释 | value network 不准确但仍显著提高性能 | | value loss 小代表 critic 好 | value loss 小不代表真实 value function 拟合好 | 因此，本节挑战的是一种常见但过于简化的解释： > 不能因为 value loss 很低，就认为 critic 学到了真实价值函数；也不能因为训练有效，就认为 baseline 的理论作用已被充分实现。 --- # 与“梯度估计质量”的关系 深度策略梯度中的梯度估计质量较差，尤其在复杂任务和训练后期更明显。 自然会提出一个解释： > 是否是因为 value network 不够好，导致优势估计质量差，从而导致梯度估计方差大？ 本节答案是：这确实是原因之一，但不是完整解释。 value network 的确没有很好拟合真实价值函数；真实 value baseline 可以显著降低梯度方差。然而，learned value network 即使不准确，仍然比 zero baseline 好很多，并且对最终性能有显著作用。 所以更准确的结论是： $$ \text{value network 的作用存在，但其机制不能完全由“拟合真实价值函数”解释} $$ 这也支持论文整体论点：深度策略梯度算法的实际行为经常偏离理论框架的直接预测。 --- # 简要总结 核心结论是： **现代深度策略梯度算法中的价值网络，并没有很好学到真实价值函数；它主要学到了算法训练目标所定义的监督标签。然而，即使价值预测不准确，它仍然能作为 baseline 降低部分梯度方差，并显著改善最终训练性能。** 更简洁地说： 1. baseline 不改变策略梯度的期望，只影响方差。 2. 理想 baseline 是真实价值函数 $V^\pi(s)$。 3. 实际 value network 被训练去拟合 $V_{\text{old}}+A_{\text{GAE}}$，不等于真实 $V^\pi(s)$。 4. value network 能很好拟合这个训练标签，但真实价值误差仍然很高。 5. true value baseline 明显比 learned value baseline 更能降低梯度方差。 6. learned value baseline 虽然不够准确，但相比 zero baseline 仍显著提高性能。 7. 因此，critic 在深度策略梯度中的实际作用尚未被经典理论完全解释。 --- **optimization landscape（优化景观）**：即在策略参数空间中，真实奖励函数和算法实际优化的替代目标函数分别呈现怎样的形状，以及二者是否一致。Ilyas 等人的论文摘要明确指出，该文对梯度估计、价值预测和优化景观进行细粒度分析，并发现替代目标函数并不匹配真实奖励景观。([arXiv](https://arxiv.org/abs/1811.02553 "[1811.02553] A Closer Look at Deep Policy Gradients")) 策略梯度算法的另一个关键假设是：相对于策略参数的**一阶更新**，确实会产生更好的策略。因此，很自然需要考察这一假设在多大程度上成立。 --- ## 真实奖励景观 首先，考察智能体奖励相对于策略参数的景观。事实上，即使深度策略梯度方法并不直接优化真实奖励，**例如它们使用替代目标函数，任何策略梯度算法的最终目标仍然是在这个真实奖励景观中进行导航。** **当使用大量样本估计真实奖励景观时，会得到一个相对平滑的奖励景观，这似乎暗示直接优化奖励是可行的；但是，当在典型的低样本规模下估计真实奖励景观时，得到的景观显得锯齿状、不规则且性质较差。** **因此，低样本规模会给直接奖励优化造成某种障碍。实际上，在这种样本规模下应用算法时，即使底层真实奖励景观本身相当良好，也无法区分景观中的好点和坏点。** --- ## 替代目标景观 奖励景观的难以控制，促使研究者发展了其他奖励最大化方法。回忆一下，许多现代策略梯度方法的一个重要组成部分是：**不直接最大化真实奖励，而是最大化一个替代目标函数**。TRPO 的原始论文也说明，其理论基础支持优化带 KL 散度惩罚的 surrogate objective；实际算法则将该思想改写为带 KL 约束的优化问题。([arXiv](https://arxiv.org/pdf/1502.05477 "Trust Region Policy Optimization")) 由于替代目标被认为是真实回报的近似，因此自然会期待：替代目标景观能够较好地近似真实奖励景观。也就是说，替代目标较好的参数，也应该对应较好的真实奖励。 **在训练早期，真实奖励和替代目标的优化景观确实大致对齐。然而，随着训练推进，在相关样本规模下，替代目标对真实奖励的预测能力变得明显更弱。特别是，经常可以观察到：使替代目标增加的方向，反而会导致真实奖励下降**。 **在更高样本规模下，也就是使用高出数个数量级的样本时，PPO 和 TRPO 表现出相当不同的行为。对于 TRPO，沿着替代目标给出的更新方向移动时，与真实奖励的匹配程度要高得多。但是，对于 PPO，即使在高样本规模下，也会持续观察到这样的景观：更新步方向导致真实奖励下降。这表明，即使替代目标被估计得足够准确，它也未必是真实奖励的准确代理。** --- # 核心问题 这一节要检验的是策略梯度算法中的一个基础假设： $$ \text{沿一阶更新方向移动} \quad \Rightarrow \quad \text{策略真实回报提高} $$ 在理想图景中，若梯度估计准确，且目标函数能够反映真实奖励，那么一次更新应当使策略变好。 但在深度策略梯度中，实际情况更复杂： 1. 真实奖励 ($J(\theta)$) 很难直接估计； 2. 实际算法通常优化 surrogate objective，而不是直接优化 ($J(\theta)$)； 3. **surrogate objective 与真实奖励之间的对应关系可能只在局部、早期或高样本条件下成立；** 4. 对 PPO 来说，即使样本充足，替代目标方向也可能导致真实奖励下降。 > 深度策略梯度算法名义上在做策略改进，但实际优化的目标景观不一定与真实奖励景观一致。 --- # 三、什么是“真实奖励景观”？ 设策略参数为 ($\theta$)，策略为： $$ \pi_\theta(a|s) $$ 真实奖励目标可以写为： $$ J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta} \left[ \sum_{t=0}^{T}\gamma^t r_t \right] (expected \\\\\ form) $$ 所谓真实奖励景观，就是函数： $$ \theta \mapsto J(\theta) $$ 在参数空间中的形状。 如果沿某个方向 (d) 移动，得到： $$ J(\theta+\alpha d) $$ 随着 $\alpha$ 变化，这条曲线就表示沿该方向的奖励景观切片。 固定当前参数 $\theta$，选两个方向： 1. 算法实际更新方向； 2. 一个随机方向。 然后观察： $$ J(\theta+\alpha d_{\text{update}}) $$ 和 $$ J(\theta+\alpha d_{\text{random}}) $$ 如何变化。 --- # 四、为什么低样本下真实奖励景观看起来很差？ 真实奖励是期望： $$ J(\theta)=\mathbb{E}[R(\tau)] $$ 实际中只能用有限轨迹估计： $$ \hat{J}_N(\theta) = \frac{1}{N} \sum_{i=1}^{N}R(\tau_i) $$ 当 (N) 很小，估计噪声很大。此时即使真实的 $J(\theta)$是较平滑的，估计得到的 $\hat{J}_N(\theta)$也可能非常锯齿状。 - 用 2K 状态—动作对估计，景观看起来噪声很大； - 用 20K、100K 或更多样本估计，底层景观逐渐显现； - 因此，真实奖励景观本身未必极端糟糕，问题在于实际样本规模下无法可靠观察它。 这构成了所谓的 direct reward optimization barrier，即直接奖励优化障碍： $$ \text{真实目标存在} \quad \text{但低样本估计无法可靠区分好坏方向} $$ 换言之，低样本下不只是梯度有噪声，连目标函数值本身也难以可靠比较。 --- # 为什么需要 surrogate objective？ **由于直接估计和优化 $J(\theta)$很困难**，TRPO 和 PPO 等方法不直接最大化真实奖励，而是最大化替代目标。 TRPO/PPO 类方法常用的替代目标可以写成： $$ L_{\theta_{\text{old}}}(\theta) = \mathbb{E}_{(s,a)\sim\pi_{\theta_{\text{old}}}} \left[ \frac{ \pi_\theta(a|s) }{ \pi_{\theta_{\text{old}}}(a|s) } A^{\pi_{\theta_{\text{old}}}}(s,a) \right] $$ 其中： $$ \frac{ \pi_\theta(a|s) }{ \pi_{\theta_{\text{old}}}(a|s) } $$ 是重要性采样比率，用来在旧策略采集的数据上评估新策略改变动作概率后的影响。 $$ A^{\pi_{\theta_{\text{old}}}}(s,a) $$ 是旧策略下的优势函数。如果某动作优势为正，提高新策略对该动作的概率会提高 surrogate objective；若优势为负，降低该动作概率会提高 surrogate objective。 PPO 原始论文明确将 PPO 描述为：交替进行环境交互采样，然后使用随机梯度上升优化 surrogate objective；PPO 的新目标函数允许对同一批样本进行多个 epoch 的 mini-batch 更新。([arXiv](https://arxiv.org/abs/1707.06347 "[1707.06347] Proximal Policy Optimization Algorithms")) --- # 六、TRPO 与 surrogate objective 的关系 TRPO 的思想是：只优化 surrogate objective 还不够，因为新策略可能偏离旧策略太远，从而使旧数据上的近似失效。因此 TRPO 还加入信赖域约束，例如 KL 散度约束： $$ D_{\mathrm{KL}}(\pi_{\theta_{\text{old}}}|\pi_\theta)\leq \delta $$ 直观含义是： > 每次更新只允许策略发生有限变化，使得旧策略数据上的替代目标仍然是合理近似。 TRPO 原始论文中也说明，其理论支持优化带 KL 散度惩罚的 surrogate objective，但实践中使用硬 KL 约束来替代难以调节的惩罚系数。([arXiv](https://arxiv.org/pdf/1502.05477 "Trust Region Policy Optimization")) 因此，TRPO 的理论图景是： $$ \text{优化 surrogate objective} + \text{限制策略变化} \Rightarrow \text{近似保证策略改进} $$ --- # 七、PPO 与 surrogate objective 的关系 PPO 也使用 surrogate objective，但不像 TRPO 那样显式求解带 KL 约束的二阶优化问题。PPO 常见形式使用 clipped surrogate objective： $$ L^{\text{CLIP}}(\theta) = \mathbb{E} \left[ \min \left( r_t(\theta)A_t, \operatorname{clip}(r_t(\theta),1-\epsilon,1+\epsilon)A_t \right) \right] $$ 其中： $$ r_t(\theta) = \frac{\pi_\theta(a_t|s_t)} {\pi_{\theta_{\text{old}}}(a_t|s_t)} $$ clip 的作用是限制新旧策略概率比率的变化范围，避免单次更新过大。PPO 原论文指出，PPO 具有 TRPO 的一些优点，但更简单、更通用，并且在经验上具有更好的样本复杂度。([arXiv](https://arxiv.org/abs/1707.06347 "[1707.06347] Proximal Policy Optimization Algorithms")) 但本节的实验表明：PPO 的 clipping 目标虽然工程上有效，却不一定保证 surrogate landscape 与 true reward landscape 一致。尤其是高样本规模下，PPO 仍可能出现沿 surrogate 上升方向移动却使真实奖励下降的现象。 --- # 为什么“替代目标上升”不一定意味着“真实奖励上升”？ 替代目标是基于旧策略数据和局部近似构造的。它隐含若干条件： 1. 新旧策略不能差太远； 2. 优势估计要足够可靠； 3. 状态分布变化要可控； 4. 重要性比率不能产生过大方差； 5. 局部一阶近似要足够反映真实奖励变化。 一旦这些条件不成立，就可能出现： $$ L(\theta_2)>L(\theta_1) \\\\\ (surrogate \\\\\ objective ) $$ 但： $$ J(\theta_2)0 $$ 但： $$ \frac{d}{d\alpha}J(\theta+\alpha d)<0 $$ 即 surrogate 认为该方向好，真实奖励却下降。 --- # 为什么 TRPO 在高样本下比 PPO 更对齐？ 原文指出，在高样本规模下，TRPO 和 PPO 表现不同： - TRPO 的 surrogate 更新方向更接近真实奖励方向； - PPO 仍然经常出现更新方向降低真实奖励的现象。 一个可能解释是：TRPO 的理论结构更直接围绕 policy improvement bound 和 KL trust region 构造。TRPO 通过约束新旧策略之间的 KL 距离，尽量保证 surrogate objective 的局部近似仍有效。TRPO 论文说明，其理论基础来自对带 KL 项 surrogate objective 的优化，并在实践中使用 KL 硬约束。([arXiv](https://arxiv.org/pdf/1502.05477 "Trust Region Policy Optimization")) PPO 的 clipped objective 则是更工程化的近似。clip 限制概率比率，但它并不等价于严格的 KL 约束，也不保证真实奖励景观与 clipped surrogate landscape 完全一致。因此，即使估计噪声被大量样本降低，PPO 的目标本身仍可能与真实奖励错位。 这就是原文最后一句的含义： > 即使 surrogate objective 被估计得足够准确，它也未必是真实奖励的准确代理。 也就是说，问题不只是“采样噪声太大”，还可能是“优化目标本身不对齐”。 --- |分析对象|发现|含义| |---|---|---| |梯度估计|有限样本梯度与真实梯度相关性较差|实际更新方向不一定是可靠策略梯度| |价值预测|value network 拟合训练标签，但不拟合真实价值函数|advantage / baseline 的理论作用未完全实现| |优化景观|surrogate objective 与 true reward landscape 后期错位|实际优化目标不一定代理真实奖励| > 即使解决了梯度估计噪声问题，仍可能存在 surrogate objective 与真实奖励目标不一致的问题。 这比单纯的“高方差”更严重。高方差意味着目标正确但估计不准；而目标错位意味着即使估计准确，也可能优化错误的东西。 --- # 简要总结 **现代策略梯度算法中的一阶更新并不总是对应真实奖励提升。低样本规模下，真实奖励景观估计非常噪声化，难以直接优化；而算法实际使用的替代目标函数虽然旨在近似真实奖励，但在训练后期尤其容易与真实奖励景观错位。TRPO 在高样本规模下与真实奖励更一致，而 PPO 即使在高样本规模下也可能沿着降低真实奖励的方向更新。** 最关键的机制判断是： $$ \text{surrogate objective 上升} \not\Rightarrow \text{true reward 上升} $$ 因此，深度策略梯度算法的成功不能简单理解为“优化了一个可靠近似真实奖励的目标函数”。更严谨的理解是：PPO/TRPO 等方法通过 surrogate objective、KL/clip 约束、value network、采样机制和优化器共同形成复杂训练动态；这些动态有时能提高奖励，但不总是符合经典策略梯度理论对真实奖励景观的预测。 --- **first-order update** 可以译为 **一阶更新**。在策略梯度语境中，它指：**只利用目标函数对策略参数的一阶导数，也就是梯度，来更新策略参数。** 设策略网络参数为$\theta$，真实目标是最大化期望回报： $$ J(\theta)=\mathbb{E}_{\tau\sim \pi_\theta}[R(\tau)] $$ 一阶更新的基本形式是： $$ \theta_{\text{new}} = \theta_{\text{old}} + \alpha \nabla_\theta J(\theta_{\text{old}}) $$ 其中： - $\theta$：策略网络参数； - $J(\theta)$：期望回报目标； - $\nabla_\theta J(\theta)$：目标函数关于参数的一阶导数； - $\alpha$：学习率或步长； - $+$”：因为强化学习中通常是最大化回报，所以是梯度上升。 PPO 论文也将 PPO 描述为一种策略梯度方法：先与环境交互采样数据，再用随机梯度上升优化 surrogate objective，即替代目标函数。([arXiv](https://arxiv.org/abs/1707.06347?utm_source=chatgpt.com "Proximal Policy Optimization Algorithms")) --- ## 1. “一阶”是什么意思？ “一阶”指只使用函数的一阶导数信息。 对一个函数 $J(\theta)$，在当前点 $\theta$ 附近可以做**泰勒展开**： $$ J(\theta+\Delta\theta) \approx J(\theta) + \nabla_\theta J(\theta)^\top \Delta\theta $$ 这里保留到一阶项，所以称为 **first-order approximation，一阶近似**。 基于这个近似，如果要让 (J) 增大，就应选择与梯度方向一致的更新方向： $$ \Delta\theta = \alpha \nabla_\theta J(\theta) $$ 这就是一阶更新的基本机制。 --- ## 2. 在策略梯度中，一阶更新具体是什么？ 策略梯度方法不是直接改变动作，而是改变策略参数。若策略为： $$ \pi_\theta(a|s) $$ 那么一次策略梯度更新可以写成： $$ \theta_{k+1} = \theta_k + \alpha \hat{g}_k $$ 其中 ($\hat{g}_k$) 是策略梯度估计。常见形式是： $$ \hat{g}_k = \frac{1}{N} \sum_{t=1}^{N} \nabla_\theta \log \pi_\theta(a_t|s_t) \hat{A}_t $$ 含义是： - 若某动作优势 ($\hat{A}_t>0$)，则提高策略在该状态下选择该动作的概率； - 若某动作优势 ($\hat{A}_t<0$)，则降低策略在该状态下选择该动作的概率。 这类方法直接学习参数化策略，并通过梯度上升优化期望奖励；策略参数通常就是神经网络权重。([DataCamp](https://www.datacamp.com/tutorial/policy-gradient-theorem?utm_source=chatgpt.com "Policy Gradient Theorem Explained: A Hands-On Introduction")) --- ## 3. 为什么原文说“first-order updates actually yield better policies”？ 原文中的句子是： > Another key assumption of policy gradient algorithms is that first-order updates (w.r.t. policy parameters) actually yield better policies. 意思是： > 策略梯度算法隐含假设：沿着策略参数的一阶梯度方向更新，真的会得到更好的策略。 也就是说，算法假设： $$ \theta_{\text{new}} = \theta_{\text{old}} + \alpha \hat{g} $$ 之后，新策略： $$ \pi_{\theta_{\text{new}}} $$ 应当比旧策略： $$ \pi_{\theta_{\text{old}}} $$ 有更高真实回报： $$ J(\theta_{\text{new}}) = J(\theta_{\text{old}}) $$ 但论文要质疑的正是这个假设。因为实际中的 ($\hat{g}$) 可能是： 1. 有限样本估计，方差很大； 2. 基于 value network 和 advantage estimate，存在偏差； 3. 基于 surrogate objective，不一定对应真实奖励景观； 4. 在 PPO 中还受到 clipping 目标影响。 因此，一阶更新虽然在形式上是“沿梯度方向走”，但这个方向未必真的提升真实奖励。 --- ## 4. first-order update 与 second-order update 的区别 一阶更新只使用梯度： $$ \nabla_\theta J(\theta) $$ 二阶更新还使用 Hessian 矩阵，即二阶导数： $$ \nabla_\theta^2 J(\theta) $$ 二阶方法不仅看“哪个方向上升最快”，还考虑函数曲率。典型形式类似： $$ \Delta\theta = H^{-1}g $$ 其中 ($H$) 是 Hessian 或近似 Hessian，($g$) 是梯度。 **在强化学习中，TRPO 更接近带二阶信息的信赖域方法，因为它用 KL 散度约束策略更新，并通过共轭梯度等方式近似处理曲率信息**；TRPO 论文目标是通过近似和信赖域约束获得更稳定的策略优化。([arXiv](https://arxiv.org/pdf/1502.05477?utm_source=chatgpt.com "Trust Region Policy Optimization")) PPO 则更偏向一阶方法。PPO 用 clipping 的 surrogate objective 避免策略变化过大，不需要像 TRPO 那样显式处理复杂的二阶约束，因此实现更简单。PPO 论文也强调其相比 TRPO 更简单、更通用，并有较好的经验样本复杂度。([arXiv](https://arxiv.org/abs/1707.06347?utm_source=chatgpt.com "Proximal Policy Optimization Algorithms")) --- ## 5. 放到原文语境中的严谨理解 first-order update 指的是：算法根据当前估计的梯度方向，**在策略参数空间中移动一步**。 例如： $$ \theta_{k+1} = \theta_k + \alpha \hat{g}_k $$ 然后论文考察： $$ J(\theta_k+\alpha \hat{g}_k) $$ 是否真的比： $$ J(\theta_k) $$ 更高。 如果真实奖励景观和 surrogate objective 景观一致，那么一阶更新应当提高真实奖励。 但论文发现，**尤其在训练后期和低样本规模下**： $$ \text{surrogate objective 上升} \not\Rightarrow \text{true reward 上升} $$ 所以，这里的 first-order update 不是抽象的数学概念，而是指 **PPO/TRPO 等算法实际执行的、基于梯度估计的一步参数更新**。论文的问题是：这一步在真实奖励景观中是否真的是好方向。 --- ## 6. 简要总结 **first-order update = 只基于一阶梯度信息的参数更新。** 在策略梯度中，它通常是： $$ \theta_{\text{new}} = \theta_{\text{old}} + \alpha \hat{\nabla}_\theta J(\theta_{\text{old}}) $$ 其理论含义是：沿着估计的回报上升方向改变策略参数。 但在深度强化学习中，一阶更新是否真的改进策略，取决于梯度估计质量、价值函数误差、样本规模、替代目标和真实奖励景观是否对齐。该论文指出，实际中这些条件经常不能完全满足，因此 first-order update 不一定可靠地带来更高真实回报。 --- --- 要么发展出更紧密遵循理论的方法，要么建立能够刻画现有策略梯度方法成功原因的新理论。在这两种情况下，第一步都是精确定位理论与实践究竟在哪里发生偏离。 --- ## 梯度估计 深度策略梯度算法所使用的梯度估计质量相当差。事实上，即使智能体性能提高，这些梯度估计也常常与真实梯度相关性较差，此外，随着训练推进和任务复杂度增加，梯度相关性会下降。 **当然，这并不排除这些估计中包含有用信号。** 但在深度强化学习中，这一现象的精确基础仍然没有被充分理解。本文指出深度强化学习场景在优化角度上具有若干独特且难以理解的特征，无论理论上还是实践中都是如此。 总体而言，理解梯度估计质量对深度强化学习算法的影响，是一个困难且很大程度上尚未被充分探索的问题。 --- ## 价值预测 第一，价值网络虽然成功解决了它被训练去解决的监督学习任务，但并没有准确建模“真实”价值函数。 第二，将价值网络作为 baseline 确实会降低梯度方差，相比平凡的“零”baseline 是有帮助的。然而，与“真实”价值函数所提供的方差降低相比，这种下降幅度相当有限。 价值函数建模失败是否不可避免？例如，训练价值网络所用的损失函数如何影响价值预测和方差降低？更宽泛地说，当前仍缺乏对价值网络在训练中精确作用的理解。是否能够经验地量化方差降低与性能之间的关系？价值网络是否承担了比方差降低更广泛的作用？ --- ## 优化景观 **现代策略梯度算法所诱导的优化景观，也就是替代目标函数，经常不能反映底层真实奖励景观。** 因此，需要更深入地理解：为什么当前方法在存在这些问题的情况下仍然能够成功；更宽泛地说，也需要理解如何更好地在真实奖励景观中进行导航。 --- # 二、这一节的核心思想 这一节不是提出新的实验，而是对前面三个实验模块进行总结，指出一个总问题： $$ \text{深度 RL 有理论框架} \quad \not\Rightarrow \quad \text{现有理论能解释实际算法行为} $$ 经典策略梯度理论给出的图景比较清楚： 1. 用采样估计策略梯度； 2. 用 value network 或 baseline 降低方差； 3. 优化 surrogate objective； 4. 得到更高回报的策略。 但论文的实验证据显示，这个链条在深度 RL 实践中并不稳定成立。论文摘要也概括了同样的结论：梯度估计与“真实”梯度相关性较差，学习到的价值估计器未能拟合真实价值函数，替代目标函数与真实奖励景观不匹配。([arXiv](https://arxiv.org/abs/1811.02553?utm_source=chatgpt.com "A Closer Look at Deep Policy Gradients")) 因此，这一节的重点是：**理论框架不是完全错误，而是解释力不足。** --- # 三、为什么说理论与实践存在 disconnect？ 这里的 disconnect 可以理解为： $$ \text{理论预期} \neq \text{实际观察} $$ 具体对应如下。 | 理论框架中的预期 | 实验观察到的问题 | | -------------------------------- | ------------------------- | | 梯度估计应大致指向真实奖励上升方向 | 有限样本梯度与真实梯度相关性差 | | 训练越推进，critic 应更有助于降低方差 | 梯度相关性反而可能随训练下降 | | value network 应近似真实 ($V^\pi(s)$) | 它拟合训练标签，但不准确拟合真实价值函数 | | surrogate objective 应近似真实奖励 | 后期 surrogate 上升可能导致真实奖励下降 | | benchmark 表现能说明算法机制有效 | 高性能不等于理论解释正确 | 所以，本文并不是说 PPO/TRPO 完全无效，而是说：**它们能工作，但现有理论没有充分解释它们为什么工作。** --- # 四、梯度估计部分的机制解释 策略梯度算法依赖估计量： $$ \hat{g} \approx \nabla_\theta J(\theta) $$ 理论上，如果 ($\hat{g}$) 与真实梯度方向一致，那么更新： $$ \theta_{t+1} = \theta_t+\alpha \hat{g} $$ 应提高真实回报。 在实际样本规模下，($\hat{g}$) 与真实梯度的余弦相似度可能较低，甚至接近零或为负。这意味着： $$ \cos(\hat{g},g_{\text{true}}) = \frac{ \langle \hat{g},g_{\text{true}}\rangle }{ |\hat{g}||g_{\text{true}}| } $$ 并不总是接近 1。 这有两个重要含义。 第一，实际更新方向不一定是可靠的真实奖励上升方向。 第二，即使 agent reward 提高，也不能直接说明每一步更新都准确估计了真实策略梯度。 因此，更严谨的理解是： $$ \text{梯度估计可能包含有用信号} $$ 但： $$ \text{它不一定是高质量真实梯度近似} $$ 这正是原文说的：这些估计不一定完全无用，但其作用机制仍不清楚。 --- # 五、为什么训练推进后梯度相关性会下降？ 这一点与直觉相反。常见直觉是：训练越久，策略越好，value network 越成熟，梯度估计应更可靠。 但深度 RL 中可能出现相反趋势，原因包括： 1. **轨迹变长，独立轨迹数量减少** 固定状态—动作对数量时，episode 越长，完整 rollout 数量越少，有效独立样本数下降。 2. **状态分布变复杂** 早期策略很快失败，访问状态区域较简单；后期策略存活更久，进入更复杂状态区域。 3. **优势估计误差累积** advantage 依赖 value network、GAE、有限 rollout 和 bootstrap，误差结构复杂。 4. **策略更新和数据分布耦合** 策略改变会改变采样分布，使优化过程非平稳。 因此，梯度估计质量不是单纯由样本数决定，而是受到策略分布、轨迹结构、环境复杂度、value network 和 surrogate objective 的共同影响。 --- # 六、价值预测部分的机制解释 这一节总结第 2.2 节的两个发现。 ## 1. value network 拟合了训练目标，但不是真实价值函数 理论上的真实价值函数是： $$ V^\pi(s) = \mathbb{E}_{\pi} \left[ R_t \mid s_t=s \right] $$ 但实际 value network 通常不是直接拟合这个真实条件期望，而是拟合由 rollout、旧 value network、GAE 或 bootstrap 构造出来的训练标签，例如： $$ V_{\text{old}}(s_t)+A_{\text{GAE}}(s_t) $$ 所以 value loss 低只能说明： $$ V_\phi(s) \approx V_{\text{old}}(s)+A_{\text{GAE}}(s) $$ 不能推出： $$ V_\phi(s) \approx V^\pi(s) $$ 这就是“成功解决监督学习任务”和“准确建模真实价值函数”的区别。 --- ## 2. value network 降低方差，但远不如真实价值函数 baseline 的作用是降低策略梯度估计的方差。若使用 baseline： $$ b(s) $$ 则策略梯度项可以写为： $$ \nabla_\theta \log \pi_\theta(a|s) \bigl(Q^\pi(s,a)-b(s)\bigr) $$ 只要 (b(s)) 不依赖动作，它不会改变策略梯度的期望，只改变方差。 理想 baseline 是： $$ b(s)=V^\pi(s) $$ 此时： $$ Q^\pi(s,a)-V^\pi(s)=A^\pi(s,a) $$ 可以去除状态本身带来的平均回报差异，从而降低方差。 但实验发现，实际 value network 的方差降低效果远弱于“真实”价值函数 baseline。这意味着： $$ V_\phi(s) $$ 虽然有用，但并不是高质量的真实价值 baseline。 --- # 七、为什么追问 value network 是否有更广泛作用？ 原文提出： > does the value network play a broader role than just variance reduction? 这是非常重要的问题。 按经典理论，value network 的主要作用是 baseline，即降低梯度方差。但实验显示： - 它不能很好拟合真实 $(V^\pi)$； - 它降低方差的程度有限； - 但去掉它以后，agent 性能明显变差。 这说明 value network 可能还承担其他作用，例如： 1. 改变 advantage 的尺度； 2. 稳定优化器输入； 3. 与 advantage normalization、clip、learning rate 等机制耦合； 4. 提供某种有偏但有用的训练信号； 5. 改变 actor 更新的隐式正则化结构。 因此，value network 不是简单的“真实价值函数估计器”，更可能是深度策略梯度训练系统中的一个耦合稳定化模块。 --- # 八、优化景观部分的机制解释 第 2.3 节关注的是两个函数的关系。 真实奖励函数： $$ J(\theta) \mathbb{E}_{\tau\sim\pi_\theta}[R(\tau)] $$ 替代目标函数： $$ L(\theta) $$ PPO/TRPO 实际优化的是 ($L(\theta)$)，而最终关心的是 (J(\theta))。 理论期望是： $$ L(\theta_2)>L(\theta_1) \quad \Rightarrow \quad J(\theta_2)>J(\theta_1) $$ 至少在局部范围内应大致成立。 但论文发现，在训练后期，尤其是 PPO 中，可能出现： $$ L(\theta_2)>L(\theta_1) $$ 同时： $$ J(\theta_2) gradient estimate quality decays with training progress and task complexity 意思是：**任务越复杂，策略梯度估计越难准确；同样数量的样本下，估计梯度与真实梯度的相关性更差。** --- ## 1. 任务复杂度首先体现为状态/动作维度更高 在 MuJoCo 连续控制任务中，Humanoid 通常比 Hopper、Walker2d 更复杂。原因之一是 Humanoid 的身体结构和控制维度更高。Gymnasium 文档中，Humanoid 是一个 3D 类人机器人，有躯干、双腿、双臂以及连接髋部和膝部的肌腱；而 Walker2d 是二维双足机器人，目标是通过 6 个关节 torque 向前行走。([Gymnasium](https://gymnasium.farama.org/environments/mujoco/humanoid/?utm_source=chatgpt.com "Humanoid")) 例如 Walker2d 的动作空间是 6 维，观测空间是 17 维。([Gymnasium](https://gymnasium.farama.org/v0.28.0/environments/mujoco/walker2d/?utm_source=chatgpt.com "Walker2D")) Humanoid 的动作空间则是 17 维，动作表示施加在各个 hinge joints 上的 torque。([Gymnasium](https://gymnasium.farama.org/v0.27.0/environments/mujoco/humanoid/?utm_source=chatgpt.com "Humanoid")) 所以从控制维度看： $$ \text{Humanoid} > \text{Walker2d} > \text{Hopper} $$ 维度越高，同样数量的状态—动作样本覆盖参数空间和行为空间的能力越弱，梯度估计方差通常越大。 --- ## 2. 任务复杂度也体现为动力学耦合更强 简单任务中，一个动作对下一状态的影响较直接。例如 Hopper 主要是单腿跳跃，虽然也不简单，但身体结构较少。 Humanoid 中，躯干、腿、脚、手臂、关节 torque 之间存在复杂耦合。某个关节动作可能通过身体姿态、接触力、重心变化影响后续很多步的状态。 形式上，环境转移为： $$ s_{t+1}\sim P(s_{t+1}|s_t,a_t) $$ 任务越复杂，(P) 的有效结构越复杂。动作 (a_t) 对未来状态序列： $$ s_{t+1},s_{t+2},\ldots $$ 的影响越难预测。 这会使策略梯度估计更困难，因为梯度项： $$ \nabla_\theta \log \pi_\theta(a_t|s_t)\hat{A}_t $$ 依赖优势估计 ($\hat{A}_t)$，而优势估计又依赖动作对未来回报的影响。动力学耦合越强，($\hat{A}_t$) 越难准确估计。 --- ## 3. 任务复杂度还包括长期信用分配难度 强化学习中的难点不是只判断“这一刻动作好不好”，而是判断某个动作对未来累计回报的贡献。 累计回报通常是： $$ R_t=\sum_{k=0}^{\infty}\gamma^k r_{t+k} $$ 如果任务较简单，动作对奖励的影响可能很快体现出来。若任务复杂，某个动作的后果可能经过很多时间步才显现。 例如 Humanoid 中，一个微小的关节 torque 可能暂时看起来无害，但数十步之后可能造成身体失衡、摔倒或速度下降。此时需要判断： $$ a_t \rightarrow s_{t+1}\rightarrow s_{t+2}\rightarrow \cdots \rightarrow R_t $$ 这条因果链条很长，信用分配更难。 所以任务复杂度越高，优势估计： $$ \hat{A}(s_t,a_t) $$ 通常越噪声化，进而导致梯度估计质量下降。 --- ## 4. 任务复杂度会放大采样不足问题 策略梯度估计依赖有限样本： $$ \hat{g} = \frac{1}{N} \sum_{t=1}^{N} \nabla_\theta \log \pi_\theta(a_t|s_t)\hat{A}_t $$ 当任务简单时，有限样本可能已经足够看出哪些方向更好。 但任务复杂时，状态空间大、动作空间大、轨迹多样性高。相同的 (N) 个状态—动作对只能覆盖极小一部分可能行为。于是： $$ N \text{ 固定} \quad \Rightarrow \quad \text{任务越复杂，有效覆盖越差} $$ Ilyas 等人的论文正是观察到：深度策略梯度方法的梯度估计质量较差，并且随着任务复杂度增加而恶化；论文中特别将 Humanoid-v2 称为较难任务，并指出其梯度估计比其他任务更差。([OpenReview](https://openreview.net/pdf?id=ryxdEkHtPS&utm_source=chatgpt.com "A CLOSER LOOK AT DEEP POLICY GRADIENTS")) --- ## 5. 任务复杂度也包括奖励景观更难优化 策略参数 (\theta) 到真实奖励： $$ J(\theta)=\mathbb{E}_{\tau\sim\pi_\theta}[R(\tau)] $$ 之间的映射可能非常复杂。复杂任务中，小的参数变化可能导致策略行为发生较大变化，例如从稳定行走变为摔倒。 这使真实奖励景观可能出现： - 局部区域高度不平滑； - 参数变化与行为变化关系非线性； - surrogate objective 与真实 reward 不一致； - 同样的更新步在某些区域有效，在另一些区域失效。 该论文的总体结论之一就是：现代策略梯度方法中的替代目标函数往往不能匹配真实奖励景观，学习到的价值估计器也不能很好拟合真实价值函数。([arXiv](https://arxiv.org/abs/1811.02553?utm_source=chatgpt.com "A Closer Look at Deep Policy Gradients")) 所以，任务复杂度越高，优化景观错配问题通常越明显。 --- ## 6. 在这篇论文中，“任务复杂度”主要用于解释梯度估计为什么变差 原文关注的是： $$ \cos(\hat{g},g_{\text{true}}) $$ 即有限样本梯度估计 (\hat{g}) 与大样本近似真实梯度 (g_{\text{true}}) 的余弦相似度。 任务复杂度增加时，该相似度下降，机制可以概括为： $$ \text{更高维状态/动作} $$ $$ \Downarrow $$ $$ \text{更复杂轨迹分布} $$ $$ \Downarrow $$ $$ \text{优势估计更噪声化} $$ $$ \Downarrow $$ $$ \text{有限样本梯度方差更高} $$ $$ \Downarrow $$ $$ \cos(\hat{g},g_{\text{true}})\text{ 更低} $$ 也就是说，任务复杂度不是单纯指“任务看起来难”，而是指它使策略梯度估计和奖励优化更困难的结构性因素。 --- ## 7. 简要总结 在该论文语境下，**任务复杂度**可以理解为： > 一个强化学习任务由于高维状态/动作空间、复杂动力学、长期信用分配、稀疏或高方差奖励、轨迹相关性和非平滑奖励景观等因素，对梯度估计和策略优化造成的综合困难。 以 MuJoCo 为例，Humanoid-v2 比 Walker2d-v2、Hopper-v2 更复杂，不只是因为机器人“身体更多”，而是因为它带来更高维控制、更复杂耦合、更长时序依赖和更难估计的策略梯度。该论文中“任务复杂度增加导致梯度估计质量下降”，本质上说的是：**同样样本规模下，复杂任务中的有限样本梯度更难代表真实梯度方向。** --- 整篇论文使用的理论背景：**RL 基本形式 → policy gradient → value / advantage → surrogate objective → TRPO → PPO**。这些概念正是前文分析“梯度估计质量、价值预测、优化景观”的基础。 # 1. 强化学习基本设定 强化学习中，智能体与有状态环境交互。每一步有： $$ s_t \xrightarrow{a_t} s_{t+1}, r_t $$ 也就是说，在状态 $s_t$下执行动作 $a_t$，环境返回下一个状态 $s_{t+1}$和奖励 $r_t$。 可以把环境写成一个转移机制： $$ s_{t+1}, r_t \sim P(\cdot | s_t,a_t) $$ 如果环境是确定性的，那么给定 $(s_t,a_t)$ 后，$s_{t+1}$ 和 $r_t$固定；如果环境是随机的，则它们来自条件分布。 策略记为： $$ \pi(a|s) $$ 表示在状态 (s) 下选择动作 (a) 的概率。若策略带参数，则写成： $$ \pi_\theta(a|s) $$ 在深度强化学习中，$\pi_\theta$ 通常由神经网络表示，$\theta$ 是网络权重。Sutton 等人的策略梯度论文正是将策略显式表示为带参数的函数逼近器，并直接根据期望奖励关于策略参数的梯度来更新策略。([NeurIPS Papers](https://papers.neurips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) 强化学习目标是找到一个策略，使期望累计奖励最大： $$ \max_\pi \mathbb{E}[R] $$ 这里的期望来自两类随机性： 1. 环境随机性； 2. 策略随机性，即动作从 $\pi(a|s)$ 中采样。 --- # 2. 轨迹 ($\tau$) 的含义 原文定义轨迹： $$ \tau={(a_t,s_t):t\in{1,\ldots,T}} $$ 更常见写法是： $$ \tau=(s_1,a_1,s_2,a_2,\ldots,s_T,a_T) $$ 轨迹就是智能体与环境交互的一整段记录。 若初始状态 $s_1$ 固定，策略为 $\pi_\theta$，环境转移为 $P$，则轨迹概率可以写成： $$ \pi_\theta(\tau) = \prod_{t=1}^{T} \pi_\theta(a_t|s_t) P(s_{t+1}|s_t,a_t) $$ 如果初始状态也随机，则还要乘上初始状态分布： $$ p(s_1) $$ 即： $$ p_\theta(\tau) = p(s_1) \prod_{t=1}^{T} \pi_\theta(a_t|s_t) P(s_{t+1}|s_t,a_t) $$ 这里的关键是：**轨迹概率依赖策略参数 $\theta$，但环境转移通常不依赖 $\theta$**。这个事实会在后面推导策略梯度时起核心作用。 --- # 3. 累计奖励与折扣累计奖励 原文先定义普通累计奖励： $$ r(\tau)=\sum_t r(s_t,a_t) $$ 这表示沿着轨迹 ($\tau$) 获得的总奖励。 强化学习中更常用的是折扣累计奖励： $$ R_t(\tau) = \sum_{t'=t}^{\infty} \gamma^{t'-t}r_{t'} $$ 其中： $$ 0<\gamma<1 $$ $\gamma$称为折扣因子。 折扣因子有两个作用。 第一，保证无限时间长度下累计奖励有限。若没有折扣，无限序列的奖励和可能发散；有折扣时，远期奖励权重逐渐衰减。 第二，鼓励更早获得奖励。因为同样大小的奖励，越晚出现，权重越小。例如： $$ r_{t+10} $$ 在 $R_t$中的权重是： $$ \gamma^{10} $$ 如果$\gamma=0.99$ ，远期奖励衰减较慢；如果 $\gamma=0.9$，远期奖励衰减较快。 原文说 $R:=R_1$，意思是从初始时刻开始的折扣累计回报： $$ R_1 = \sum_{t=1}^{\infty}\gamma^{t-1}r_t $$ --- # 4. Policy Gradient Methods：策略梯度方法 策略梯度方法的核心思想是：直接对策略参数 (\theta) 优化期望回报。 目标函数为： $$ \max_\theta \mathbb{E}_{\tau\sim \pi_\theta} [r(\tau)] \tag{5} $$ 注意，这里的 $\tau\sim\pi_\theta$ 表示轨迹分布由策略 $\pi_\theta$ 和环境共同诱导。 问题是：如何对这个目标求梯度？ 直接看： $$ \nabla_\theta \mathbb{E}_{\tau\sim\pi_\theta}[r(\tau)] $$ 困难在于，$\theta$ 不在 $r(\tau)$里直接出现，而是在轨迹分布 $\pi_\theta(\tau)$ 里出现。也就是说，参数改变的是“采样到什么轨迹”的概率。 --- # 5. 公式（6）：log-derivative trick 原文给出： $$ \nabla_\theta \mathbb{E}_{\tau\sim\pi_\theta}[r(\tau)] = \mathbb{E}_{\tau\sim\pi_\theta} [ \nabla_\theta \log(\pi_\theta(\tau))r(\tau) ] \tag{6} $$ 这个公式是策略梯度的核心。Sutton 等人 1999 年的策略梯度定理为使用函数逼近直接优化参数化策略提供了理论基础。([NeurIPS Papers](https://papers.neurips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) 推导如下。 期望可以写成积分或求和形式： $$ J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}[r(\tau)] = \sum_\tau \pi_\theta(\tau)r(\tau) $$ 对 ($\theta$) 求导： $$ \nabla_\theta J(\theta) = \sum_\tau \nabla_\theta \pi_\theta(\tau)r(\tau) $$ 利用恒等式： $$ \nabla_\theta \pi_\theta(\tau) = \pi_\theta(\tau)\nabla_\theta \log \pi_\theta(\tau) $$ 得到： $$ \nabla_\theta J(\theta) = \sum_\tau \pi_\theta(\tau) \nabla_\theta \log \pi_\theta(\tau) r(\tau) $$ 这正是： $$ \mathbb{E}_{\tau\sim\pi_\theta} [ \nabla_\theta \log \pi_\theta(\tau)r(\tau) ] $$ 该技巧也称为 **score function estimator** 或 **likelihood ratio trick**。 **它的重要性在于：只要能够采样轨迹，就能构造无偏梯度估计**： $$ \hat{g} = \nabla_\theta \log \pi_\theta(\tau)r(\tau) $$ 这就是 REINFORCE 和一般策略梯度方法的基础。 --- # 6. 为什么 $\log \pi_\theta(\tau)$ 可以分解成每一步策略概率？ 轨迹概率为： $$ \pi_\theta(\tau) = p(s_1) \prod_{t=1}^{T} \pi_\theta(a_t|s_t) P(s_{t+1}|s_t,a_t) $$ 等式两边取对数： $$ \log \pi_\theta(\tau) = \log p(s_1) + \sum_{t=1}^{T} \log \pi_\theta(a_t|s_t) + \sum_{t=1}^{T} \log P(s_{t+1}|s_t,a_t) $$ 对 $\theta$求导时，初始状态分布和环境转移不依赖 $\theta$，因此： $$ \nabla_\theta \log \pi_\theta(\tau) = \sum_{t=1}^{T} \nabla_\theta \log \pi_\theta(a_t|s_t) $$ 所以策略梯度可以写成每一步 log-probability 梯度的和。 直观含义是： > 若一条轨迹回报高，则提高这条轨迹中动作的概率；若回报低，则降低这些动作的概率。 --- # 7. 公式（7）：引入 $Q^\pi(s,a)$ 原文进一步写成： $$ \hat{g}_\theta = \mathbb{E}_{\tau\sim\pi_\theta} \left[ \sum_{(s_t,a_t)\in\tau} \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot Q^{\pi_\theta}(s_t,a_t) \right] \tag{7} $$ 其中： $$ Q^{\pi_\theta}(s_t,a_t) = \mathbb{E}_{\pi_\theta}[R_t|a_t,s_t] \tag{8} $$ $Q^\pi(s,a)$ 是动作价值函数，表示： > 在状态 $s$ 下先执行动作 $a$，之后继续按照策略 $\pi$ 行动，预期能获得多少折扣累计回报。 为什么可以从整条轨迹回报 $r(\tau)$变成每一步的 $Q^\pi(s_t,a_t)$？ 原因是：时刻 t 的动作 $a_t$不能影响过去的奖励，只能影响从 $t$ 开始的未来奖励。因此，对 $\nabla_\theta \log \pi_\theta(a_t|s_t)$ 这一项来说，相关的回报部分是： $$ R_t = r_t+\gamma r_{t+1}+\gamma^2r_{t+2}+\cdots $$ 而不是 $t$ 之前已经发生的奖励。 所以策略梯度可以理解为： $$ \text{提高导致高未来回报的动作概率} $$ $$ \text{降低导致低未来回报的动作概率} $$ --- # 8. 为什么策略梯度方差很大？ 公式（7）虽然理论正确，但估计方差很大。 梯度估计项为： $$ \nabla_\theta \log \pi_\theta(a_t|s_t)Q^\pi(s_t,a_t) $$ 这里的噪声来自多个方面： 1. **轨迹采样随机；** 2. **环境转移随机；** 3. **策略动作采样随机；** 4. **回报 ($R_t$) 是长期累计量；** 5. **单个动作对长期回报的影响难以准确判断；** 6. **$Q^\pi(s,a)$ 通常无法精确计算，只能估计。** 因此，即使公式无偏，有限样本估计也可能非常不稳定。这就是策略梯度方法通常需要大量样本、训练不稳定的根源之一。 GAE 论文也指出，策略梯度方法虽然能直接优化累计奖励并可用于神经网络策略，但两个主要挑战是样本需求大，以及在非平稳数据下难以获得稳定改进；其方法通过价值函数降低策略梯度方差，但会引入一定偏差。([arXiv](https://arxiv.org/abs/1506.02438?utm_source=chatgpt.com "High-Dimensional Continuous Control Using Generalized Advantage Estimation")) --- # 9. 公式（9）：baseline 的作用 为降低方差，引入 baseline： $$ \hat{g}_\theta = \mathbb{E}_{\tau\sim\pi_\theta} \left[ \sum_{(s_t,a_t)\in\tau} \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot \bigl( Q^{\pi_\theta}(s_t,a_t)-b(s_t) \bigr) \right] \tag{9} $$ 其中 $b(s_t)$ 是只依赖状态的函数。 关键性质是：**只要 baseline 不依赖动作，它不会改变策略梯度的期望，只会改变方差。** 证明如下。 ==**对固定状态 $s$**==，有： $$ \mathbb{E}_{a\sim\pi_\theta(\cdot|s)} [ \nabla_\theta\log\pi_\theta(a|s)b(s) ] $$ 因为 $b(s)$与动作无关，可以提出： $$ b(s) \sum_a \pi_\theta(a|s) \nabla_\theta\log\pi_\theta(a|s) $$ 利用： $$ \nabla_\theta\log\pi_\theta(a|s) = \frac{\nabla_\theta\pi_\theta(a|s)} {\pi_\theta(a|s)} $$ 得到： $$ b(s) \sum_a \nabla_\theta\pi_\theta(a|s) $$ 又因为： $$ \sum_a \pi_\theta(a|s)=1 $$ 所以： $$ \sum_a \nabla_\theta\pi_\theta(a|s) = \nabla_\theta 1 = 0 $$ 因此： $$ \mathbb{E}_{a\sim\pi_\theta} [ \nabla_\theta\log\pi_\theta(a|s)b(s) ] =0 $$ 所以减去 $b(s)$ 不改变梯度期望。 --- # 10. 公式（10）：价值函数 $V^\pi(s)$ 自然的 baseline 是价值函数： $$ V^{\pi_\theta}(s_t) = \mathbb{E}_{\pi_\theta}[R_t|s_t] \tag{10} $$ 它表示： > 在状态 $s_t$ 出发，之后按照策略 $\pi_\theta$行动，预期能获得多少折扣累计回报(expect return)。 注意 $V^\pi(s)$ 只依赖状态，不依赖当前具体动作。因此它可以作为合法 baseline。 为什么它适合作为 baseline？ 因为 $Q^\pi(s,a)$包含两部分： 1. 状态本身的平均价值； 2. 动作相对于平均行为的额外贡献。 而 $V^\pi(s)$正好表示状态本身的平均价值。减去它后，可以去除大量与动作无关的波动。 --- # 11. 公式（11）（12）：优势函数 advantage 使用 value baseline 后，得到： $$ \hat{g}_\theta = \mathbb{E}_{\tau\sim\pi_\theta} \left[ \sum_{(s_t,a_t)\in\tau} \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot A^{\pi_\theta}(s_t,a_t) \right] \tag{11} $$ 其中： $$ A^{\pi_\theta}(s_t,a_t) = Q^{\pi_\theta}(s_t,a_t) - V^{\pi_\theta}(s_t) \tag{12} $$ 优势函数的含义是： > 在状态 (s_t) 下，动作 (a_t) 比该状态下策略的平均动作好多少。 若： $$ A^\pi(s,a)>0 $$ 说明动作 (a) 比平均水平好，应提高其概率。 若： $$ A^\pi(s,a)<0 $$ 说明动作 $a$ 比平均水平差，应降低其概率。 这样，策略梯度就不再用“绝对回报”更新策略，而是用“相对优势”更新策略。这通常会降低方差。 --- # 12. Value estimation：为什么需要估计 $V^\pi$ 真实的 $V^\pi(s)$、$Q^\pi(s,a)$、$A^\pi(s,a)$通常不可直接获得。实际算法需要估计它们。 估计方法包括： 1. Monte Carlo return； 2. TD 估计； 3. moving average； 4. 线性函数逼近； 5. 神经网络 value function； 6. GAE。 在深度 RL 中，最常见的是用神经网络： $$ V_\phi(s) \approx V^\pi(s) $$ 其中 $\phi$ 是价值网络参数。 前文论文第 2.2 节正是质疑这个近似：value network 虽然能拟合训练标签，但未必拟合真实价值函数。 --- # 13. Surrogate Objective：为什么不直接优化真实回报 到目前为止，重点是估计真实策略梯度。但现代策略梯度算法通常不直接最大化真实回报，而是最大化 surrogate objective，即替代目标。 原因是： $$ J(\theta)=\mathbb{E}_{\tau\sim\pi_\theta}[R(\tau)] $$ 难以直接估计、噪声很大、优化不稳定。TRPO 和 PPO 采用的是一种局部近似目标。 原文给出： $$ \max_\theta \mathbb{E}_{(s_t,a_t)\sim\pi} \left[ \frac{\pi_\theta(a_t|s_t)} {\pi(a_t|s_t)} A^\pi(s_t,a_t) \right] \tag{13} $$ 这里 $\pi$是当前策略或旧策略，$\pi_\theta$ 是待优化的新策略。 比率： $$ \rho_t(\theta) = \frac{\pi_\theta(a_t|s_t)} {\pi(a_t|s_t)} $$ 是重要性采样比率。它表示： > 对同一个旧策略采样到的 $(s_t,a_t)$，新策略选择该动作的概率相对旧策略变化了多少。 如果某动作优势为正： $$ A^\pi(s_t,a_t)>0 $$ 则增大 $\pi_\theta(a_t|s_t)$ 会增大 surrogate objective。 如果某动作优势为负： $$ A^\pi(s_t,a_t)<0 $$ 则减小 $\pi_\theta(a_t|s_t)$会增大 surrogate objective。 这就是 surrogate objective 的基本逻辑： $$ \text{提高好动作概率，降低坏动作概率} $$ --- # 14. 对公式（13）的一个重要严谨说明 原文括号里写： $$ \mathbb{E}_{\pi_\theta}[A^\pi] $$ 这个表达需要谨慎理解。 更严格地说，公式（13）中的状态—动作对来自旧策略 $\pi$： $$ (s_t,a_t)\sim\pi $$ 通过动作概率比率： $$ \frac{\pi_\theta(a_t|s_t)}{\pi(a_t|s_t)} $$ 可以把旧策略下的动作分布重加权成新策略的动作分布。 **但是，状态分布仍然主要来自旧策略 $\pi$，而不是真正的新策略 $\pi_\theta$。新策略改变后，未来访问哪些状态也会改变，这一点 surrogate objective 只做局部近似。** 因此，公式（13）不是完整真实回报： $$ J(\theta) $$ 而是围绕当前策略 $\pi$ 的局部近似。 这正是后文第 2.3 节讨论的核心问题：**surrogate objective 是否真的反映 true reward landscape？** --- # 15. 公式（14）（15）：normalized advantage 原文给出归一化优势版本： $$ \max_\theta \mathbb{E}_{(s_t,a_t)\sim\pi} \left[ \frac{\pi_\theta(a_t|s_t)} {\pi(a_t|s_t)} \hat{A}^\pi(s_t,a_t) \right] \tag{14} $$ 其中： $$ \hat{A}^\pi = \frac{A^\pi-\mu(A^\pi)} {\sigma(A^\pi)} \tag{15} $$ 这就是优势归一化：减去均值，再除以标准差。 作用是： 1. **让 advantage 尺度更稳定；** 2. **避免某些 batch 的 advantage 数值过大；** 3. **改善优化器行为；** 4. **降低不同任务、不同训练阶段之间的尺度差异。** 但需要注意：优势归一化改变了优化信号的尺度和中心化方式。它常常有助于工程稳定性，但也使“算法到底优化了什么”更复杂。 PPO 原论文明确提出，PPO 通过与环境交互采样数据，然后用随机梯度上升优化 surrogate objective；其目标函数允许对同一批数据进行多个 epoch 的 minibatch 更新。([arXiv](https://arxiv.org/abs/1707.06347?utm_source=chatgpt.com "Proximal Policy Optimization Algorithms")) --- # 16. Trust Region Methods：信赖域方法 surrogate objective 的问题是：它只在当前策略附近可靠。 如果新策略 ($\pi_\theta$) 距离旧策略 ($\pi$) 太远，则旧策略数据上的局部近似可能失效。 因此，信赖域方法要求： $$ \pi_\theta \text{ 不要离 } \pi \text{ 太远} $$ “远近”通常用策略分布之间的 KL divergence 衡量。 KL 散度大致表示两个概率分布的差异： $$ D_{\mathrm{KL}}(\pi_\theta(\cdot|s)|\pi(\cdot|s)) $$ 若 KL 很小，说明新旧策略在状态 (s) 下给出的动作分布相近。 信赖域思想是： > surrogate objective 只在局部可信，所以每一步更新必须限制在可信区域内。 TRPO 正是这种思想的代表。TRPO 论文描述了一种优化策略的迭代过程，并通过一系列近似得到实践算法；该算法与自然策略梯度方法相似，在多种任务中表现稳定。([arXiv](https://arxiv.org/abs/1502.05477?utm_source=chatgpt.com "Trust Region Policy Optimization")) --- # 17. 公式（16）：TRPO 的优化问题 原文写： $$ \max_\theta \mathbb{E}_{(s_t,a_t)\sim\pi} \left[ \frac{\pi_\theta(a_t|s_t)} {\pi(a_t|s_t)} \hat{A}^\pi(s_t,a_t) \right] $$ 约束为： $$ D_{\mathrm{KL}} ( \pi_\theta(\cdot|s) | \pi(\cdot|s) ) \leq \delta, \quad \forall s \tag{16} $$ 含义是： 最大化 surrogate objective，但要求新策略与旧策略在每个状态上的 KL 距离不超过 (\delta)。 直观上： $$ \text{尽量提高目标} $$ 但： $$ \text{每一步不要改太猛} $$ 这就是 trust region policy optimization 的核心。 实践中，严格要求所有状态 (s) 上的 KL 都满足约束非常困难。因此 TRPO 做了近似： 1. 用当前采样轨迹中的状态近似全部状态； 2. 用平均 KL 近似 worst-case KL； 3. 用 KL 的二阶近似构造局部约束； 4. 用自然梯度或共轭梯度近似求解。 TRPO 原论文也说明，实践算法是对理论上保证单调改进过程的若干近似。([arXiv](https://arxiv.org/pdf/1502.05477?utm_source=chatgpt.com "Trust Region Policy Optimization")) --- # 18. 为什么 TRPO 和自然梯度有关？ 普通梯度更新是： $$ \theta_{k+1} = \theta_k+\alpha g $$ 其中 $g=\nabla_\theta L(\theta)$。 **但在策略空间中，参数欧氏距离不一定能反映策略分布变化。例如，参数变化很小也可能导致动作分布大变；参数变化较大也可能几乎不改变策略输出。** **自然梯度使用Fisher信息矩阵修正梯度方向，使更新更贴近策略分布空间的几何结构**： $$ \Delta\theta \propto F^{-1}g $$ TRPO 中 KL 的二阶近似与 Fisher 信息矩阵相关。因此 TRPO 可以看作自然梯度思想的一种信赖域实现。 这也是为什么 TRPO 比普通一阶策略梯度更复杂：需要近似曲率信息。 --- # 19. Proximal Policy Optimization：PPO 的动机 TRPO 稳定，但计算成本较高。原文说，TRPO 的步方向通过非线性共轭梯度估计，需要多次 Hessian-vector product。 为降低复杂度，PPO 提出不显式做 KL 约束投影，而是直接修改目标函数。 PPO 原论文指出，PPO 具有 TRPO 的一些优点，但更简单、更通用，并且经验上样本复杂度更好。([arXiv](https://arxiv.org/abs/1707.06347?utm_source=chatgpt.com "Proximal Policy Optimization Algorithms")) --- # 20. 公式（17）（18）：PPO clipped objective PPO 使用： $$ \max_\theta \mathbb{E}_{(s_t,a_t)\sim\pi} \left[ \min \left( \operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon) \hat{A}^\pi(s_t,a_t), \rho_t\hat{A}^\pi(s_t,a_t) \right) \right] \tag{17} $$ 其中： $$ \rho_t = \frac{\pi_\theta(a_t|s_t)} {\pi(a_t|s_t)} \tag{18} $$ $\rho_t$是新旧策略概率比率。 clip 操作为： $$ \operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon) $$ 表示把$\rho_t$限制在区间： $$ [1-\epsilon,1+\epsilon] $$ 例如 $\epsilon=0.2$，则 $\rho_t$ 被限制在： $$ [0.8,1.2] $$ --- # 21. PPO clipping 的机制 PPO 的 clipping 要分两种情况理解。 ## 情况一：优势为正 若： $$ \hat{A}_t>0 $$ 说明动作$a_t$比平均好。优化目标希望增大该动作概率，即增大 $\rho_t$。 但如果 $\rho_t$太大，例如超过 $1+\epsilon$，PPO 会截断收益： $$ \operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)=1+\epsilon $$ 这意味着：提高好动作概率是允许的，但不能无限提高。 ## 情况二：优势为负 若： $$ \hat{A}_t<0 $$ 说明动作 $a_t$比平均差。优化目标希望降低该动作概率，即减小 $\rho_t$。 但如果 $\rho_t$ 太小，例如低于 $1-\epsilon$，PPO 也会截断收益。 这意味着：降低坏动作概率是允许的，但不能过度降低。 因此，PPO clipping 的直观作用是： $$ \text{允许策略改进，但限制单次更新幅度} $$ --- # 22. PPO 与 TRPO 的核心差异 可以从约束方式看二者区别。 TRPO： $$ \max \text{ surrogate objective} $$ $$ \text{s.t. KL divergence} \leq \delta $$ 即显式约束策略分布变化。 PPO： $$ \max \text{ clipped surrogate objective} $$ 即把“不要变化太大”的思想写进目标函数中，而不是显式求解约束优化。 所以： |方法|核心机制|计算特点| |---|---|---| |TRPO|KL 信赖域约束|需要二阶近似、共轭梯度，计算较重| |PPO|clipped surrogate objective|一阶优化即可，较简单| |普通 policy gradient|直接用策略梯度更新|简单但可能不稳定| PPO 的优势是实现简单、可用 Adam 等常规优化器、可以对同一批 rollout 做多轮 minibatch 更新。PPO 原论文也强调其在 simplicity、sample complexity 和 wall-time 之间取得较好平衡。([arXiv](https://arxiv.org/abs/1707.06347?utm_source=chatgpt.com "Proximal Policy Optimization Algorithms")) --- # 23. 这段附录与主文三大实验的关系 这段附录不是单纯介绍基础知识，它服务于主文的三大质疑。 ## 1. 对应第 2.1：梯度估计质量 公式（7）（11）给出策略梯度形式： $$ \hat{g} = \mathbb{E} [ \nabla_\theta \log \pi_\theta(a|s)A^\pi(s,a) ] $$ 主文第 2.1 检验：实际用有限样本估计出的 ($\hat{g}$)，是否接近真实梯度？ 结论是：相关性较差，尤其在复杂任务和训练后期。 ## 2. 对应第 2.2：价值预测 公式（10）（12）说明 value function 用来构造 advantage： $$ A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s) $$ 主文第 2.2 检验：value network 是否真的学到了 $V^\pi(s)$，并有效降低梯度方差？ 结论是：value network 拟合训练标签，但不准确拟合真实价值函数；其方差降低效果也远弱于真实 value baseline。 ## 3. 对应第 2.3：优化景观 公式（13）（14）（17）说明 PPO/TRPO 实际优化 surrogate objective，而不是直接优化真实奖励。 主文第 2.3 检验：surrogate objective 景观是否与 true reward landscape 对齐？ 结论是：训练早期可能对齐，后期经常错位；PPO 中尤其明显。 --- # 24. 最核心的理论链条 这段附录搭建的理论链条可以概括为： $$ \max_\theta J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}[R(\tau)] $$ 通过 log-derivative trick 得到： $$ \nabla_\theta J(\theta) = \mathbb{E} [ \nabla_\theta\log\pi_\theta(a|s)Q^\pi(s,a) ] $$ 为降低方差，引入 baseline： $$ Q^\pi(s,a)-V^\pi(s)=A^\pi(s,a) $$ 得到 advantage policy gradient： $$ \nabla_\theta J(\theta) = \mathbb{E} [ \nabla_\theta\log\pi_\theta(a|s)A^\pi(s,a) ] $$ 为提高稳定性，不直接优化真实奖励，而优化 surrogate objective： $$ \mathbb{E} [ \rho_t(\theta)\hat{A}_t ] $$ 为限制策略变化，引入 TRPO 的 KL 约束： $$ D_{\mathrm{KL}}(\pi_\theta|\pi)\leq\delta $$ 或 PPO 的 clipped objective： $$ \min ( \rho_t\hat{A}_t, \operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)\hat{A}_t ) $$ --- # 25. 与论文主旨的连接 这段背景给出的理论图景很清晰： 1. 策略梯度提供正确方向； 2. value function 降低方差； 3. surrogate objective 近似真实奖励； 4. trust region / clipping 保证更新不过大。 但主文的实验正是指出：实践中这些环节并不总是按理论预期工作。 具体来说： $$ \text{理论上：}\quad \hat{g}\approx \nabla J $$ 但实验发现： $$ \hat{g} \text{ 与真实梯度相关性较差} $$ 理论上： $$ V_\phi(s)\approx V^\pi(s) $$ 但实验发现： $$ V_\phi(s) \text{ 拟合训练标签，不拟合真实价值函数} $$ 理论上： $$ L_{\text{surrogate}}(\theta)\approx J(\theta) $$ 但实验发现： $$ L_{\text{surrogate}} \text{ 与 true reward landscape 后期错位} $$ 所以这段附录的作用是：先说明现代策略梯度算法“应该如何工作”，再为主文证明“实际并不完全这样工作”提供理论参照。 --- # 26. 简要总结 这段附录 A.1 可以理解为整篇论文的理论背景压缩版： - 强化学习目标是最大化期望累计奖励； - 策略梯度方法直接参数化策略 $\pi_\theta$，并对期望回报做梯度上升； - log-derivative trick 使得轨迹采样可以估计策略梯度； - $Q^\pi(s,a)$衡量状态—动作后的预期未来回报； - $V^\pi(s)$ 是状态价值，可作为 baseline； - $A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s)$是优势函数，用于降低方差并表达动作相对好坏； - surrogate objective 用旧策略数据和重要性比率近似新策略改进； - TRPO 用 KL 信赖域约束控制更新幅度； - PPO 用 clipped surrogate objective 以更简单的一阶方式近似实现类似控制。 这套理论框架非常完整，但论文主文的核心发现是：**深度 RL 实际训练中的梯度估计、价值函数和替代目标，经常并不符合这套理论框架的直接预测。**