# **随机策略梯度理论开山** 下面对 **Sutton, McAllester, Singh, Mansour 的《Policy Gradient Methods for Reinforcement Learning with Function Approximation》** 做系统解析。该文发表于 **NIPS/NeurIPS 1999，页码 1057–1063**，官方 NeurIPS 页面也将其列为 _Policy Gradient Methods for Reinforcement Learning with Function Approximation_。([NeurIPS Proceedings](https://papers.nips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) 上传文献内容见： --- # 1. 文献的核心问题 这篇文献要解决的问题可以概括为： > 在强化学习中，当使用函数近似时，如何直接优化参数化策略，并且在理论上保证更新方向确实是性能目标的梯度方向？ 在 1990 年代的强化学习框架中，主流方法是 **value-function approach**：先近似一个值函数，例如 $V(s)$ 或 $Q(s,a)$，再通过贪心策略从值函数中导出策略。该路线在表格情形下理论较清楚，但在函数近似情形下存在严重问题。 文献指出，值函数方法的两个关键困难是： 第一，值函数方法天然偏向确定性策略。给定 $Q(s,a)$，通常选择 [ $$ a=\arg\max_a Q(s,a), $$ ] 这会产生确定性策略。但在部分可观测环境、随机最优策略问题、探索需求较强的问题中，最优或有效策略可能本身就是随机策略。 第二，值函数到策略的映射是不连续的。即使 $Q(s,a)$ 的估计值发生极小变化，也可能导致最大动作发生切换，从而使策略突变。文献强调，这种不连续性是值函数近似方法难以建立收敛保证的重要原因之一。 因此，论文提出另一条路线：**不再把策略隐式地定义为某个值函数的贪心策略，而是直接用可微函数近似器参数化策略本身**。即： [ $$ \pi_\theta(s,a)=\Pr(A_t=a\mid S_t=s;\theta). $$ ] 策略参数 $\theta$ 直接通过性能目标 $\rho(\theta)$ 的梯度进行更新： [ $$ \Delta \theta \propto \frac{\partial \rho}{\partial \theta}. $$ ] 这就是现代策略梯度方法的基本思想。该文的核心贡献是证明：在一定条件下，可以用经验样本和一个合适的近似值函数构造策略性能梯度的无偏估计。官方 NeurIPS 摘要也概括了这一点：策略显式表示为独立于值函数的函数近似器，并沿期望回报关于策略参数的梯度更新。([NeurIPS Proceedings](https://papers.nips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) --- # 2. 问题设定与符号体系 文献考虑标准 MDP： [ $$ S_t\in\mathcal S,\qquad A_t\in\mathcal A,\qquad R_{t+1}\in\mathbb R. $$ ] 环境转移概率为： $$ P_{ss'}^a=\Pr(S_{t+1}=s'\mid S_t=s,A_t=a), $$ 即时奖励期望为： $$ R_s^a=\mathbb E[R_{t+1}\mid S_t=s,A_t=a]. $$ ] 策略为可微随机策略： [ $$ \pi(s,a,\theta)=\Pr(A_t=a\mid S_t=s,\theta). $$ ] 为简化记号，文中常写作： [ $$ \pi(s,a). $$ ] 论文处理两类性能目标。 --- ## 2.1 平均奖励目标 平均奖励目标定义为长期每步平均奖励： # [ $$ \rho(\pi) = \lim_{n\to\infty} \frac{1}{n} \mathbb E_\pi[r_1+r_2+\cdots+r_n]. $$ ] 在平稳分布 (d^\pi(s)) 存在且与初始状态无关时，可写成： # [ $$ \rho(\pi) = \sum_s d^\pi(s)\sum_a \pi(s,a)R_s^a. $$ ] 此时动作价值函数定义为相对于平均奖励的差分回报： # [ $$ Q^\pi(s,a) \sum_{t=1}^{\infty} \mathbb E_\pi[r_t-\rho(\pi)\mid S_0=s,A_0=a]. $$ ] 这里的 $Q^\pi(s,a)$ 不是普通折扣回报，而是平均奖励框架下的 differential action-value。 --- ## 2.2 起始状态折扣目标 另一种目标固定起始状态 (s_0)，优化从该状态开始的折扣回报： # [ $$ \rho(\pi) = \mathbb E_\pi \left[ \sum_{t=1}^{\infty}\gamma^{t-1}r_t \mid s_0 \right]. $$ ] 对应动作价值为： # [ $$ Q^\pi(s,a) = \mathbb E_\pi \left[ \sum_{k=1}^{\infty} \gamma^{k-1}r_{t+k} \mid S_t=s,A_t=a \right]. $$ ] 折扣访问权重定义为： # [ $$ d^\pi(s) = \sum_{t=0}^{\infty} \gamma^t \Pr(S_t=s\mid s_0,\pi). $$ ] 注意：这里的 $d^\pi(s)$ 在折扣情形下通常不是概率分布，而是折扣 occupancy measure。它衡量从起始状态出发，在策略 $\pi$ 下访问状态 $s$ 的折扣累计频率。 --- # 3. 定理一：Policy Gradient Theorem 文献第一个核心结果是**策略梯度定理**： $$ \frac{\partial \rho}{\partial \theta} = \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial \theta} Q^\pi(s,a). $$ 这是整篇文献最重要的公式。 通常也可改写为现代强化学习更熟悉的形式： $$ \frac{\partial \rho}{\partial \theta} = \sum_s d^\pi(s) \sum_a \pi(s,a) \frac{\partial \log \pi(s,a)}{\partial \theta} Q^\pi(s,a), $$ 即： $$ \nabla_\theta \rho(\theta) = \mathbb E_{S\sim d^\pi,A\sim \pi} \left[ \nabla_\theta\log\pi_\theta(A\mid S) Q^\pi(S,A) \right]. $$ 这个形式后来成为 REINFORCE、actor-critic、A2C/A3C、TRPO、PPO 等方法的基础。 --- ## 3.1 定理一的关键含义 直觉上，$\rho(\theta)$ 依赖策略参数 $\theta$ 有两条路径： 第一，策略参数影响每个状态下的动作分布： [ $$ \theta \to \pi_\theta(a\mid s). $$ ] 第二，策略参数也会影响状态访问分布： [ $$ \theta \to d^{\pi_\theta}(s). $$ ] 因此，直接微分时似乎应该出现： [ $$ \frac{\partial d^\pi(s)}{\partial \theta} $$ ] 这样的项。 但策略梯度定理的关键结论是： > 最终梯度公式中不需要显式计算状态分布对策略参数的导数。 也就是说，梯度可以仅由 $$ \frac{\partial \pi(s,a)}{\partial \theta} $$ ] 和 $$ Q^\pi(s,a) $$ ] 表示。 这是非常重要的，因为 $d^\pi(s)) 对 (\theta$ 的导数通常极难计算。如果必须显式计算 $\partial d^\pi/\partial\theta$，策略梯度方法几乎难以实际使用。 --- ## 3.2 为什么 $\partial d^\pi/\partial\theta$ 不出现？ 平均奖励情形下，证明思路大致如下。 状态价值函数可写为： $$ V^\pi(s) = \sum_a \pi(s,a)Q^\pi(s,a). $$ ] 对 $\theta$ 求导： $$ \frac{\partial V^\pi(s)}{\partial\theta} = \sum_a \frac{\partial \pi(s,a)}{\partial\theta}Q^\pi(s,a) + \sum_a \pi(s,a) \frac{\partial Q^\pi(s,a)}{\partial\theta}. $$ ] 而 $Q^\pi(s,a)$ 又可通过 Bellman 型关系展开： $$ Q^\pi(s,a) = R_s^a-\rho(\pi) + \sum_{s'}P_{ss'}^aV^\pi(s'). $$ 继续求导，会出现递归项： [ $$ \sum_a\pi(s,a)\sum_{s'}P_{ss'}^a \frac{\partial V^\pi(s')}{\partial\theta}. $$ ] 将等式两边乘以平稳分布 (d^\pi(s)) 并对 (s) 求和，利用平稳性： # [ $$ d^\pi(s') = \sum_s d^\pi(s)\sum_a\pi(s,a)P_{ss'}^a, $$ ] 递归项会与左侧的状态价值导数项抵消。最终留下的正是： $$ \frac{\partial \rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial\theta}Q^\pi(s,a). $$ ] 这说明，状态分布对策略参数的影响并非不存在，而是被动作价值函数 $Q^\pi$ 的长期后果吸收了。换言之，$Q^\pi(s,a)$ 已经编码了当前动作对未来状态分布和未来奖励的影响。 --- # 4. 与 REINFORCE 的关系 REINFORCE 使用实际采样回报 $G_t$ 代替 $Q^\pi(S_t,A_t)$，得到更新方向： [ $$ \Delta\theta \propto \nabla_\theta \log \pi_\theta(A_t\mid S_t)G_t. $$ ] 这是策略梯度定理的直接采样估计。 文献指出，Williams 的 REINFORCE 也可以得到无偏梯度估计，但不借助学习到的值函数，因此方差通常较大、学习较慢。该文的关键推进在于：如果引入满足特定条件的近似值函数，就可以在降低方差的同时保持策略梯度方向的正确性。 这正是 actor-critic 方法的理论基础： - actor：参数化策略 $\pi_\theta$； - critic：近似 $Q^\pi$ 或 advantage； - actor 使用 critic 的估计值构造策略梯度更新。 --- # 5. 定理二：带函数近似的策略梯度 文献第二个核心结果是 **Policy Gradient with Function Approximation**。 假设用函数近似器 [ $$ f_w(s,a) $$ ] 近似 [ $$ Q^\pi(s,a). $$ ] 问题是：如果直接把策略梯度定理中的 $Q^\pi(s,a)$ 替换成 $f_w(s,a)$，是否仍然得到真实梯度？ 一般情况下，答案是否定的。任意近似值函数都会引入偏差。 论文给出一个充分条件：只要 $f_w$ 满足两个性质，就可以精确替换 $Q^\pi$。 --- ## 5.1 条件一：误差正交条件 如果 $f_w$ 是通过最小化如下加权均方误差得到的局部最优解： [ $$ \sum_s d^\pi(s)\sum_a \pi(s,a) \left[ Q^\pi(s,a)-f_w(s,a) \right]^2, $$ ] 则在局部最优点满足一阶条件： [ $$ \sum_s d^\pi(s) \sum_a\pi(s,a) \left[ Q^\pi(s,a)-f_w(s,a) \right] \frac{\partial f_w(s,a)}{\partial w} =0. $$ ] 这表示近似误差 [ $$ Q^\pi(s,a)-f_w(s,a) $$ ] 与 critic 的特征方向 [ \frac{\partial f_w(s,a)}{\partial w} ] 在由 (d^\pi(s)\pi(s,a)) 加权的内积下正交。 --- ## 5.2 条件二：compatible function approximation 第二个条件是兼容性条件： # [ $$ \frac{\partial f_w(s,a)}{\partial w} = \frac{\partial \pi(s,a)}{\partial\theta} \frac{1}{\pi(s,a)}. $$ ] 等价地： # [ $$ \frac{\partial f_w(s,a)}{\partial w} = \nabla_\theta\log\pi_\theta(a\mid s). $$ ] 也就是说，critic 的特征必须与 actor 的 score function 一致。 这个条件后来被称为 **compatible function approximation**。 --- ## 5.3 定理二结论 如果 $f_w$ 同时满足： [ $$ \sum_s d^\pi(s) \sum_a\pi(s,a) [Q^\pi(s,a)-f_w(s,a)] \frac{\partial f_w(s,a)}{\partial w} =0 $$ ] 以及 # [ $$ \frac{\partial f_w(s,a)}{\partial w} = \nabla_\theta\log\pi_\theta(a\mid s), $$ ] 则有： # [ $$ \frac{\partial \rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial\theta} f_w(s,a). $$ ] 也就是说，可以用 $f_w$ 替代 $Q^\pi$，而不改变策略梯度的期望方向。 --- # 6. 定理二的本质解释 定理二的本质不是说： > critic 只要近似得足够好，就一定不会带来偏差。 而是说： > critic 的近似误差必须在策略梯度相关的方向上正交。 策略梯度只关心 (Q^\pi) 在 score function 张成子空间中的投影。若 (f_w) 恰好给出了 (Q^\pi) 在这个子空间上的正确投影，那么即使 (f_w) 不等于真实 (Q^\pi)，策略梯度仍然可以保持正确。 形式上，由兼容条件： # [ $$ \frac{\partial f_w(s,a)}{\partial w} = \frac{1}{\pi(s,a)} \frac{\partial \pi(s,a)}{\partial\theta}, $$ ] 误差正交条件变成： [ $$ \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial\theta} [ Q^\pi(s,a)-f_w(s,a) ] =0. $$ ] 将其从真实策略梯度中减去： $$ \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a) - \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial\theta} [ Q^\pi(s,a)-f_w(s,a) ], $$ 得到： [ $$ \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial\theta} f_w(s,a). $$ ] 所以定理二的核心机制是： > 只要 critic 的误差在 actor 需要的梯度方向上为零，critic 不必在所有方向上逼近真实 $Q^\pi$。 这也是“兼容函数近似”的理论意义。 --- # 7. softmax 线性策略下的 compatible critic 论文进一步讨论一个具体策略参数化： # [ $$ \pi(s,a) = \frac{ \exp(\theta^\top \phi_{sa}) }{ \sum_b \exp(\theta^\top \phi_{sb}) }. $$ ] 其中 $\phi_{sa}$ 是状态-动作特征。 对数策略梯度为： # [ $$ \nabla_\theta\log\pi(s,a) = \phi_{sa} - \sum_b \pi(s,b)\phi_{sb}. $$ ] 因此，与该策略兼容的 critic 应该具有形式： # [ $$ f_w(s,a) = w^\top \left[ \phi_{sa} - \sum_b \pi(s,b)\phi_{sb} \right]. $$ ] 这说明 compatible critic 不是简单地用 (w^\top\phi_{sa}) 近似 (Q^\pi(s,a))，而是用中心化后的特征： $$ \phi_{sa} = \mathbb E_{b\sim\pi(\cdot\mid s)}[\phi_{sb}]. $$ 该 critic 在每个状态下满足： [ $$ \sum_a \pi(s,a)f_w(s,a)=0. $$ ] 因此它更自然地近似 advantage，而不是原始 $Q^\pi$。 --- # 8. advantage function 的理论地位 文献指出，$f_w$ 更适合理解为 advantage 近似： [ $$ A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s). $$ ] 这是一个非常重要的观点。 因为策略梯度中可以加入任意状态函数 (v(s)) 而不改变期望梯度： $$ \sum_a \frac{\partial \pi(s,a)}{\partial\theta} v(s) = v(s) \frac{\partial}{\partial\theta} \sum_a\pi(s,a) = v(s)\frac{\partial 1}{\partial\theta} =0. $$ 因此： $$ Q^\pi(s,a) $$ 可以替换为： $$ Q^\pi(s,a)-b(s), $$ 其中 $b(s)$ 是任意只依赖状态的 baseline。 特别地，令： $$ b(s)=V^\pi(s), $$ 得到： [ $$ A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s). $$ ] 这不会改变策略梯度的期望，但通常可以显著降低方差。 因此，这篇文献从理论上解释了为什么现代 actor-critic 方法普遍使用 advantage，而不是直接使用 $Q^\pi$。 --- # 9. 定理三：带函数近似的 policy iteration 收敛性 论文第三个主要结果是：在兼容函数近似条件下，可以证明一种 policy iteration 过程收敛到局部最优策略。 简化表述如下。 给定策略参数 $\theta_k$，先找到 critic 参数 $w_k$，使其满足加权误差正交条件： $$ \sum_s d^{\pi_k}(s) \sum_a\pi_k(s,a) [ Q^{\pi_k}(s,a)-f_w(s,a) ] \frac{\partial f_w(s,a)}{\partial w} =0. $$ 然后用： $$ \theta_{k+1} = \theta_k + \alpha_k \sum_s d^{\pi_k}(s) \sum_a \frac{\partial \pi_k(s,a)}{\partial\theta} f_{w_k}(s,a) $$ 更新策略。 在以下条件下： $$ \alpha_k\to 0, \qquad \sum_k\alpha_k=\infty, $$ 奖励有界，策略和 critic 可微，二阶导数有界，并且 compatible condition 成立，则性能序列收敛到满足： $$ \lim_{k\to\infty} \frac{\partial \rho(\pi_k)}{\partial\theta} =0 $$ 的策略。 这意味着算法收敛到一个一阶驻点，也就是局部最优或鞍点类型的 stationary point。论文表述为 locally optimal policy，但从严格优化角度看，梯度为零本身只保证一阶驻点；若再结合局部结构条件，才可称为局部最优。 --- # 10. 这篇文献没有实验部分 这篇论文主要是理论文献，几乎没有实验部分。其结构是： 1. 引言：说明值函数方法在函数近似下的困难； 2. 策略梯度定理； 3. 带函数近似的策略梯度； 4. compatible function approximation 的构造； 5. policy iteration 收敛性证明； 6. 附录：策略梯度定理证明； 7. 参考文献。 因此，若从“实验设置、实验方法、消融实验、结果分析”的角度看，该文没有现代深度强化学习论文常见的实验设计。其贡献主要在定理和理论结构，而非经验结果。 --- # 11. 与现代 actor-critic 的关系 现代 actor-critic 方法大致使用如下更新： $$ \nabla_\theta J(\theta) \approx \mathbb E [ \nabla_\theta\log\pi_\theta(A_t\mid S_t) \hat A_t ]. $$ 这里的 $\hat A_t$ 可能来自： - TD error； - Monte Carlo return 减去 baseline； - GAE； - learned critic； - $n$-step return。 这与该文的理论公式直接对应。 不过现代深度 RL 中的 critic 通常并不严格满足 compatible condition。比如 PPO 中的 value network 通常近似 (V^\pi(s))，advantage 通过 GAE 构造，而不是显式构造： [ $$ f_w(s,a)=w^\top\nabla_\theta\log\pi_\theta(a\mid s). $$ ] 因此，现代 actor-critic 多数情况下并不是该文定理二的严格实现，而是使用该理论框架启发出的近似算法。 换言之： $$ \text{Sutton et al. 1999} $$ 提供的是“为什么 $\nabla\log\pi\cdot A$ 是正确策略梯度结构”的理论基础；而现代 PPO/TRPO/A2C 等算法是在该结构上加入 trust region、clipping、GAE、深度网络、并行采样等工程与统计改进。 --- # 12. 与 surrogate objective 的关系 该文没有像 TRPO/PPO 那样构造现代意义上的 surrogate objective，例如： $$ L^{\text{CLIP}}(\theta) = \mathbb E [ \min( r_t(\theta)\hat A_t, \operatorname{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\hat A_t ) ]. $$ 该文关注的是真实性能目标 $\rho(\theta)$ 的梯度表达式： $$ \nabla_\theta \rho(\theta). $$ 因此，它不是在说“最大化某个替代损失即可保证性能提升”，而是在证明： $$ \nabla_\theta\rho(\theta) $$ 可以写成可采样、可估计的形式。 这一区别很关键： - 本文的中心是 **gradient identity**； - TRPO/PPO 的中心是 **可优化 surrogate objective 与稳定步长控制**； - 本文给出了策略梯度方向； - PPO/TRPO 进一步讨论如何在有限样本、函数近似、非凸网络下安全地走这一步。 --- # 13. 理论贡献总结 这篇文献的主要贡献可以压缩为四点。 第一，证明策略梯度定理： $$ \nabla_\theta\rho(\theta) = \sum_s d^\pi(s) \sum_a \nabla_\theta\pi_\theta(a\mid s) Q^\pi(s,a). $$ 该定理说明，策略性能梯度可以不显式微分状态分布。 第二，将策略梯度定理推广到带函数近似的 actor-critic 框架，说明在 compatible condition 下，可以用近似 critic 替代真实 $Q^\pi$ 而不引入梯度偏差。 第三，解释 advantage function 的特殊地位。策略梯度只依赖动作之间的相对价值，而不依赖每个状态下所有动作共享的状态基线。 第四，给出一种带任意可微策略函数近似的 policy iteration 收敛性证明。这在当时是重要理论突破。Semantic Scholar 页面也将该文概括为证明了带任意可微函数近似的 policy iteration 可收敛到局部最优策略。([Semantic Scholar](https://www.semanticscholar.org/paper/Policy-Gradient-Methods-for-Reinforcement-Learning-Sutton-McAllester/a20f0ce0616def7cc9a87446c228906cd5da093b?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) --- # 14. 局限性 该文虽然奠定了策略梯度理论基础，但也有明显局限。 第一，compatible function approximation 条件较强。critic 必须满足： $$ \frac{\partial f_w(s,a)}{\partial w} = \nabla_\theta\log\pi_\theta(a\mid s). $$ 这对函数近似器结构有明确限制。普通神经网络 critic 通常不满足该条件。 第二，定理二假设 critic 已达到加权均方误差的局部最优点。实际 actor-critic 中，critic 往往只是在线近似学习，未必充分收敛。 第三，收敛定理依赖精确期望形式，而非有限样本随机估计。现实算法使用采样估计，存在方差、偏差、非平稳 critic、优化误差等问题。 第四，结论主要是局部收敛或梯度为零，不保证全局最优。 第五，该文没有处理现代深度 RL 中常见问题，例如： $$ \text{off-policy correction, replay buffer, target network, clipping, entropy regularization, GAE} $$ 等。 因此，该文更像是策略梯度与 actor-critic 的“理论地基”，而不是可直接复现的现代深度 RL 算法论文。 --- # 15. 一句话总结 这篇文献的核心意义在于：**证明了策略可以直接作为可微函数近似器进行梯度优化，并且在 compatible critic 条件下，actor-critic 可以用近似 advantage/Q 函数给出真实策略性能梯度的无偏方向。** 更直白地说： $$ \nabla_\theta\log\pi_\theta(a\mid s),A^\pi(s,a) $$ 之所以成为现代策略梯度算法的基本结构，根源就在这篇文献建立的理论结果。 --- 下面按要求分成两部分：**先翻译，后解释**。原文来自 Sutton et al. 的 _Policy Gradient Methods for Reinforcement Learning with Function Approximation_ 中 “Policy Gradient Theorem” 小节；NeurIPS 官方页面与上传文件均包含该论文。 ([NeurIPS Papers](https://papers.neurips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) # 一、翻译 ## Policy Gradient Theorem ## 策略梯度定理 本文考虑标准强化学习框架。在该框架中，一个学习智能体与一个马尔可夫决策过程，即 MDP，进行交互。每个时间步 [ $$ t\in{0,1,2,\ldots} $$ ] 的状态、动作和奖励分别记为： [ $$ S_t\in\mathcal S,\qquad A_t\in\mathcal A,\qquad R_t\in\mathbb R. $$ ] 环境的动力学由状态转移概率 # [ $$ P_{ss'}^a = \Pr(S_{t+1}=s'\mid S_t=s,A_t=a) $$ ] 和期望奖励 # [ $$ R_s^a = \mathbb E[R_{t+1}\mid S_t=s,A_t=a] $$ ] 刻画，其中对所有 [ $$ s,s'\in\mathcal S,\qquad a\in\mathcal A $$ ] 都成立。 智能体在每个时间步的决策过程由策略刻画： # [ $$ \pi(s,a,\theta) = \Pr(A_t=a\mid S_t=s,\theta), $$ ] 其中 [ $$ \theta\in\mathbb R^l $$ ] 是参数向量，并且 [ $$ l\ll |\mathcal S|. $$ ] 假设策略 $\pi$ 关于其参数可微，也就是说： [ $$ \frac{\partial \pi(s,a)}{\partial\theta} $$ ] 存在。通常也将 [ $$ \pi(s,a,\theta) $$ ] 简写为 [ $$ \pi(s,a). $$ ] 在使用函数近似时，有两种有用的方式来表述智能体的目标。第一种是平均奖励形式。在这种形式中，策略按照长期每步期望奖励进行排序： # [ $$ \rho(\pi) = \lim_{n\to\infty} \frac{1}{n} \mathbb E_\pi[R_1+R_2+\cdots+R_n] = \sum_s d^\pi(s)\sum_a\pi(s,a)R_s^a. $$ ] 其中 # [ $$ d^\pi(s) = \lim_{t\to\infty} \Pr(S_t=s\mid S_0=s_0,\pi) $$ ] 是在策略 $\pi$ 下的状态平稳分布。本文假设该平稳分布对所有策略都存在，并且与初始状态 $s_0$ 无关。 在平均奖励形式中，给定策略 $\pi$ 时，状态-动作对的价值定义为： # [ $$ Q^\pi(s,a) = \sum_{t=1}^{\infty} \mathbb E_\pi[ R_t-\rho(\pi) \mid S_0=s,A_0=a ], \qquad \forall s\in\mathcal S,\ a\in\mathcal A. $$ ] 本文涉及的第二种形式是指定一个起始状态 (s_0)，并且只关心从该起始状态出发所获得的长期回报。本文只给出一次结果，但在如下定义下，结果同样适用于该形式： # [ $$ \rho(\pi) = \mathbb E_\pi \left[ \sum_{t=1}^{\infty} \gamma^{t-1}R_t \mid S_0=s_0 \right], $$ ] 以及 # [ $$ Q^\pi(s,a) = \mathbb E_\pi \left[ \sum_{k=1}^{\infty} \gamma^{k-1}R_{t+k} \mid S_t=s,A_t=a \right]. $$ ] 其中 [ $$ \gamma\in[0,1] $$ ] 是折扣率。只有在情节式任务中，才允许取 [ $$ \gamma=1. $$ ] 在该形式中，将 [ $$ d^\pi(s) $$ ] 定义为从 $s_0$ 出发并遵循策略 $\pi$ 时所遇到状态的折扣加权： # [ $$ d^\pi(s) = \sum_{t=0}^{\infty} \gamma^t \Pr(S_t=s\mid S_0=s_0,\pi). $$ ] 第一个结果涉及性能度量关于策略参数的梯度。 **定理 1，策略梯度。** 对任意 MDP，无论采用平均奖励形式还是起始状态形式，都有： # [ $$ \frac{\partial \rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ ] 证明见附录。 这种梯度表达方式最早由 Marbach 和 Tsitsiklis 在平均奖励形式中讨论，它基于 Jaakkola、Singh 和 Jordan 以及 Cao 和 Chen 关于状态价值函数的相关表达。本文将这些结果扩展到起始状态形式，并给出更简单、更直接的证明。Williams 关于 REINFORCE 算法的理论也可以被看作蕴含公式 ((2))。 无论如何，这两种梯度表达式的关键点在于，其中没有形如 [ $$ \frac{\partial d^\pi}{\partial\theta} $$ ] 的项；也就是说，策略变化对状态分布的影响没有显式出现。这一点便于通过采样近似梯度。 例如，如果状态 $s$ 是从遵循策略 $\pi$ 所得到的分布中采样的，那么 [ $$ \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a) $$ ] 就是 [ $$ \frac{\partial\rho}{\partial\theta} $$ ] 的无偏估计。当然， [ $$ Q^\pi(s,a) $$ ] 通常也是未知的，必须进行估计。一种方法是使用实际回报作为 [ $$ Q^\pi(S_t,A_t) $$ ] 的近似。 在平均奖励形式中，可以使用： # [ $$ R_t = \sum_{k=1}^{\infty} \left( r_{t+k}-\rho(\pi) \right). $$ ] 在起始状态形式中，可以使用： $$ R_t = \sum_{k=1}^{\infty} \gamma^{k-1}r_{t+k}. $$ 这会得到 Williams 的 episodic REINFORCE 算法： $$ \Delta\theta_t \propto \frac{\partial \pi(S_t,A_t)}{\partial\theta} \frac{1}{\pi(S_t,A_t)} R_t. $$ ] 其中， [ $$ \frac{1}{\pi(S_t,A_t)} $$ ] 用于校正由于策略 $\pi$ 偏好某些动作而导致的过采样。该算法在期望意义下沿着 [ $$ \frac{\partial\rho}{\partial\theta} $$ ] 方向更新。 --- # 二、解释 ## 1. 这一节的任务 这一节要建立一个核心结论： [ $$ \text{策略性能的梯度} \quad \frac{\partial\rho}{\partial\theta} $$ ] 可以写成一个只涉及 $$ d^\pi(s),\quad \frac{\partial\pi(s,a)}{\partial\theta},\quad Q^\pi(s,a) $$ 的表达式。 其中最重要的是：公式中不需要显式计算 $$ \frac{\partial d^\pi(s)}{\partial\theta}. $$ 这正是策略梯度定理的关键价值。 --- ## 2. MDP 部分在定义什么 MDP 的基本结构是： [ $$ (S_t,A_t) \longrightarrow (R_{t+1},S_{t+1}). $$ ] 其中 # [ $$ P_{ss'}^a = \Pr(S_{t+1}=s'\mid S_t=s,A_t=a) $$ ] 描述状态如何转移； # [ $$ R_s^a = \mathbb E[R_{t+1}\mid S_t=s,A_t=a] $$ ] 描述一步奖励的期望。 因此，环境由两类对象决定： [ $$ P_{ss'}^a \quad\text{和}\quad R_s^a. $$ 策略则由 [ $$ \pi(s,a,\theta) $$ ] 决定，表示在状态 $s$ 下选择动作 $a$ 的概率。 --- ## 3. 为什么强调 $l\ll |\mathcal S|$ 参数向量 [ $$ \theta\in\mathbb R^l $$ ] 的维度远小于状态空间规模： $$ l\ll |\mathcal S|. $$ 这表示策略不是表格形式。若使用表格策略，则每个状态都需要单独存储动作概率。函数近似策略则用较少参数统一表示许多状态下的动作分布。 例如神经网络策略可写为： $$ s \mapsto \pi_\theta(\cdot\mid s). $$ 这带来泛化能力：在某些状态上学习到的参数会影响其他状态下的行为。 --- ## 4. 为什么需要策略可微 策略梯度方法要优化： [ $$ \rho(\theta). $$ ] 要使用梯度上升，必须能够计算或估计： [ $$ \frac{\partial\rho}{\partial\theta}. $$ ] 而 $\rho$ 通过策略依赖参数： [ $$ \theta \longrightarrow \pi_\theta \longrightarrow \text{trajectory distribution} \longrightarrow \rho(\theta). $$ ] 因此至少需要策略本身关于参数可微： [ $$ \frac{\partial\pi(s,a)}{\partial\theta} $$ ] 存在。若策略对参数不可微，则后续梯度公式无法成立。 --- ## 5. 平均奖励目标 平均奖励目标为： # [ $$ \rho(\pi) = \lim_{n\to\infty} \frac{1}{n} \mathbb E_\pi[R_1+\cdots+R_n]. $$ ] 它衡量的是长期每一步平均能获得多少奖励。 在平稳分布存在时： # [ $$ \rho(\pi) = \sum_s d^\pi(s) \sum_a\pi(s,a)R_s^a. $$ ] 该式可以逐层理解为： [ $$ d^\pi(s) $$ ] 表示长期处于状态 (s) 的比例； [ $$ \pi(s,a) $$ ] 表示在状态 $s$ 下选择动作 $a$ 的概率； [ $$ R_s^a $$ ] 表示该状态-动作对的一步期望奖励。 所以： [ $$ d^\pi(s)\pi(s,a)R_s^a $$ ] 就是长期运行中，状态 $s$ 和动作 $a$ 对平均奖励的贡献。 --- ## 6. 平均奖励形式下的 $Q^\pi(s,a)$ 在折扣问题中，动作价值通常定义为折扣累计奖励。但在平均奖励问题中，文中定义： # [ $$ Q^\pi(s,a) = \sum_{t=1}^{\infty} \mathbb E_\pi[ R_t-\rho(\pi) \mid S_0=s,A_0=a ]. $$ ] 这里减去 [ $$ \rho(\pi) $$ ] 非常关键。 原因是平均奖励任务通常不使用折扣。如果直接累加 [ $$ R_1+R_2+\cdots $$ ] 无限和可能发散。减去长期平均奖励后，累加的是“相对于平均水平的超额奖励”： [ $$ R_t-\rho(\pi). $$ ] 因此该 $Q^\pi(s,a)$ 是平均奖励框架中的 **差分动作价值函数**。它衡量： > 从状态 $s$ 执行动作 $a$ 后，相对于长期平均表现，未来能多获得多少累计优势。 --- ## 7. 起始状态折扣目标 第二种目标固定起始状态 $s_0$： # [ $$ \rho(\pi) = \mathbb E_\pi \left[ \sum_{t=1}^{\infty} \gamma^{t-1}R_t \mid S_0=s_0 \right]. $$ ] 这不是长期平均每步奖励，而是从指定初始状态出发的折扣累计回报。 对应的动作价值为： # [ $$ Q^\pi(s,a) = \mathbb E_\pi \left[ \sum_{k=1}^{\infty} \gamma^{k-1}R_{t+k} \mid S_t=s,A_t=a \right]. $$ ] 此时 $Q^\pi(s,a)$ 表示：在时间 $t$ 处于状态 $s$、采取动作 $a$，然后继续遵循策略 $\pi$，能够获得的未来折扣回报。 --- ## 8. $d^\pi(s)$ 在两种形式中的含义不同 在平均奖励形式中： # [ $$ d^\pi(s) = \lim_{t\to\infty} \Pr(S_t=s\mid S_0=s_0,\pi) $$ ] 是平稳分布，通常满足： [ $$ \sum_s d^\pi(s)=1. $$ ] 在起始状态折扣形式中： $$ d^\pi(s) = \sum_{t=0}^{\infty} \gamma^t \Pr(S_t=s\mid S_0=s_0,\pi). $$ 这是折扣状态访问权重，不一定是概率分布。若 $\gamma<1$，则： # [ $$ \sum_s d^\pi(s) = \frac{1}{1-\gamma}. $$ ] 所以它不是“某一时刻处于状态 (s) 的概率”，而是从初始状态出发后，状态 (s) 被访问的折扣累计频率。 --- ## 9. 策略梯度定理的含义 策略梯度定理为： $$ \frac{\partial \rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 该式说明，策略参数变化对性能的影响可以由所有状态-动作对的贡献相加得到。 其中： [ $$ \frac{\partial\pi(s,a)}{\partial\theta} $$ ] 表示参数变化会如何改变动作 (a) 的选择概率； [ $$ Q^\pi(s,a) $$ ] 表示选择动作 (a) 后的长期价值； [ $$ d^\pi(s) $$ ] 表示状态 $s$ 在当前策略下的重要程度或访问频率。 因此，若某个状态经常被访问，并且某个动作在该状态下长期价值较高，则梯度会倾向于增加该动作概率。 --- ## 10. 为什么没有 $\partial d^\pi/\partial\theta$ 表面上看，平均奖励目标是： # [ $$ \rho(\pi) = \sum_s d^\pi(s) \sum_a\pi(s,a)R_s^a. $$ ] 由于策略参数 $\theta$ 会影响动作分布，也会影响未来访问哪些状态，因此似乎应有： [ $$ \frac{\partial d^\pi(s)}{\partial\theta}. $$ ] 但是策略梯度定理表明，最终表达式中没有这一项。 原因是：当前动作对未来状态分布的影响已经被 [ $$ Q^\pi(s,a) $$ ] 吸收。也就是说，$Q^\pi(s,a)$ 不只是一步奖励，而是包含当前动作对后续状态、后续动作和后续奖励的全部长期影响。 所以，策略变化对状态分布的影响并非不存在，而是没有以 [ $$ \frac{\partial d^\pi}{\partial\theta} $$ ] 的形式显式出现。 这使得策略梯度可以通过采样估计。若公式中必须显式计算 [ $$ \frac{\partial d^\pi}{\partial\theta}, $$ ] 则通常需要知道完整环境转移结构，并分析整个马尔可夫链对参数变化的敏感性，实际学习会非常困难。 --- ## 11. 采样估计形式 利用恒等式： # [ $$ \frac{\partial\pi(s,a)}{\partial\theta} = \pi(s,a) \frac{\partial\log\pi(s,a)}{\partial\theta}, $$ ] 策略梯度可写为： # [ $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \pi(s,a) \frac{\partial\log\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ ] 这就是期望形式： $$ \frac{\partial\rho}{\partial\theta} = \mathbb E_{S\sim d^\pi,\ A\sim\pi} \left[ \frac{\partial\log\pi(A\mid S)}{\partial\theta} Q^\pi(S,A) \right]. $$ 这说明，只要按照当前策略采样状态和动作，就可以构造梯度估计。文中随后指出，REINFORCE 理论也可以被视为蕴含该策略梯度表达式。 ([NeurIPS Papers](https://papers.neurips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) --- ## 12. 为什么需要估计 $Q^\pi(s,a)$ 策略梯度定理给出了真实梯度的表达式，但真实的 [ $$ Q^\pi(s,a) $$ ] 通常未知。因为它依赖未来长期奖励，而实际环境的转移概率和奖励结构通常不可直接获得。 一种最直接的估计方法是使用采样得到的实际回报。 平均奖励形式下： $$ R_t = \sum_{k=1}^{\infty} (r_{t+k}-\rho(\pi)). $$ 起始状态折扣形式下： $$ R_t = \sum_{k=1}^{\infty} \gamma^{k-1}r_{t+k}. $$ 这些实际回报可作为 [ $$ Q^\pi(S_t,A_t) $$ ] 的样本估计。 --- ## 13. REINFORCE 更新公式 由上述采样思想可得到 REINFORCE： [ $$ \Delta\theta_t \propto \frac{\partial\pi(S_t,A_t)}{\partial\theta} \frac{1}{\pi(S_t,A_t)} R_t. $$ ] 由于： # [ $$ \frac{1}{\pi(S_t,A_t)} \frac{\partial\pi(S_t,A_t)}{\partial\theta} = \frac{\partial\log\pi(S_t,A_t)}{\partial\theta}, $$ ] 所以更新可写为： [ $$ \Delta\theta_t \propto \nabla_\theta \log\pi_\theta(A_t\mid S_t) R_t. $$ ] 其中的 [ $$ \frac{1}{\pi(S_t,A_t)} $$ ] 用于校正动作采样概率。高概率动作更容易被采到，如果不校正，采样估计不能正确对应到对所有动作求和的梯度表达式。用对数导数形式写出后，这一校正自然包含在 [ $$ \nabla_\theta\log\pi_\theta(A_t\mid S_t) $$ ] 中。 --- # 三、核心总结 这一节建立了策略梯度方法的基本数学形式： # [ $$ \text{性能梯度} = \text{状态访问权重} \times \text{策略概率导数} \times \text{动作价值}. $$ ] 最重要的结论是： # [ $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a), $$ ] 并且其中不需要显式计算 [ $$ \frac{\partial d^\pi(s)}{\partial\theta}. $$ ] 这使得策略优化可以通过经验采样完成，也解释了 REINFORCE 更新形式的来源。 --- 下面系统区分三个概念： [ $$ \text{状态分布} \quad \text{初始状态分布} \quad \text{平稳状态分布} $$ ] 这三个概念都描述“状态随机变量取不同状态的概率”，但对应的时间位置、生成机制和数学性质不同。在策略梯度定理中，Sutton 等人使用的 (d^\pi(s)) 在平均奖励形式下指平稳状态分布，在起始状态折扣形式下指折扣状态访问权重，因此不能简单把所有 (d^\pi(s)) 都理解成同一种概率分布。原论文中的相关定义见上传文件。 # 1. 状态分布：某一时刻状态随机变量的分布 ## 1.1 基本定义 在强化学习中，状态不是固定数值，而是随机变量： [ $$ S_t\in\mathcal S. $$ ] 因此，在任意时间步 (t)，都可以定义状态分布： # [ $$ \mu_t(s) = \Pr(S_t=s). $$ ] 若强调策略 $\pi$ 和初始分布 $\mu_0$，可写为： # [ $$ \mu_t^\pi(s) = \Pr_\pi(S_t=s\mid S_0\sim\mu_0). $$ ] 含义是：从初始状态分布 $\mu_0$ 出发，并按照策略 $\pi$ 与 MDP 交互，到时间 $t$ 时处于状态 $s$ 的概率。 CS229 讲义将 MDP 写成由状态集、动作集、状态转移概率、折扣因子和奖励函数组成的形式，并说明 $P_{sa}$ 给出在状态 $s$ 执行动作 $a$ 后转移到后继状态的分布；该描述正是状态分布递推的基础。 --- ## 1.2 状态分布不是单个状态，而是概率向量 若状态空间有限： [ $$ \mathcal S={s_1,s_2,\ldots,s_n}, $$ ] 则状态分布可写成向量： $$ \mu_t = \begin{bmatrix} \mu_t(s_1)& \\ \mu_t(s_2)& \\ \cdots & \\ \mu_t(s_n) \\ \end{bmatrix}. $$ 它必须满足： [ $$ \mu_t(s_i)\ge 0, \qquad \sum_{i=1}^n \mu_t(s_i)=1. $$ ] 例如： [ $$ \mu_t=(0.1,0.7,0.2) $$ ] 表示时间 $t$ 时，系统处于三个状态的概率分别为 (0.1,0.7,0.2)。 因此，“状态分布”回答的问题是： > 在某一个时间步，状态随机变量 $S_t$ 落在各状态上的概率是多少？ --- ## 1.3 固定策略会把 MDP 变成马尔可夫链 MDP 中的转移依赖动作： [ $$ P(s'\mid s,a). $$ ] 若给定一个策略： [ $$ \pi(a\mid s), $$ ] 则动作由策略随机选择。于是可以把动作边缘化，得到策略诱导的状态转移矩阵： # [ $$ P_\pi(s,s') = \sum_a \pi(a\mid s)P(s'\mid s,a). $$ ] 该矩阵表示：在状态 (s) 下先按照 $\pi$ 采样动作，再由环境转移到 (s') 的总概率。 于是，在固定策略 $\pi$ 下，状态序列： [ $$ S_0,S_1,S_2,\ldots $$ ] 本身构成一个马尔可夫链。MIT 的 Markov chain 讲义也用转移矩阵 (P) 描述状态间转移，并指出若 $X_t$ 的分布为 (q)，则下一时刻分布为 $qP$；这与固定策略后 $\mu_{t+1}=\mu_tP_\pi$ 的形式一致。([MIT OpenCourseWare](https://courses.csail.mit.edu/6.856/current/Notes/n25-markov-chains.html "6.856 Lecture Notes")) --- ## 1.4 状态分布的递推公式 采用行向量约定时，状态分布递推为： # [ $$ \mu_{t+1} = \mu_t P_\pi. $$ ] 分量形式为： # [ $$ \mu_{t+1}(s') = \sum_s \mu_t(s)P_\pi(s,s'). $$ ] 代入 $P_\pi$ 的定义： # [ $$ \mu_{t+1}(s') = \sum_s \mu_t(s) \sum_a \pi(a\mid s)P(s'\mid s,a). $$ ] 该式含义是：时间 (t+1) 到达 (s') 的概率，等于从所有可能前一状态 (s) 出发，再在 (s) 下选择所有可能动作 (a)，最终转移到 (s') 的概率总和。 若重复递推： # [ $$ \mu_t = \mu_0 P_\pi^t. $$ ] 所以状态分布由三个对象共同决定： # [ $$ \boxed{ \mu_t = \text{初始状态分布} + \text{策略} + \text{环境转移} } $$ ] 更明确地说： # [ $$ \mu_t = \mu_0 P_\pi^t. $$ ] --- # 2. 初始状态分布：时间 (0) 的状态分布 ## 2.1 定义 初始状态分布是状态分布在 $t=0$ 时的特例： # [ $$ \mu_0(s) = \Pr(S_0=s). $$ ] 它描述 episode 或轨迹开始时，初始状态如何被采样。 MIT 讲义明确指出，初始状态 $X_0$ 可以来自任意概率分布，也可以是固定状态；初始状态分布会诱导整条状态序列的分布。([MIT OpenCourseWare](https://courses.csail.mit.edu/6.856/current/Notes/n25-markov-chains.html "6.856 Lecture Notes")) --- ## 2.2 确定初始状态是初始状态分布的特例 若任务总是从固定状态 $s_0$ 开始，则： [ $$ \Pr(S_0=s_0)=1, $$ ] 并且对所有 $s\neq s_0$： [ $$ \Pr(S_0=s)=0. $$ ] 此时初始状态分布是 Dirac 分布： # [ $$ \mu_0(s) = \delta_{s_0}(s) = \begin{cases} 1, & s=s_0,\\ 0, & s\neq s_0. \end{cases} $$ ] 所以“指定起始状态 $s_0$”并不是没有初始分布，而是使用了一个退化的初始分布。 --- ## 2.3 随机初始状态分布 若每次 episode 开始时，环境随机初始化状态，则 $\mu_0$ 不是 Dirac 分布。 例如： [ $$ \mathcal S={s_1,s_2,s_3}, $$ ] [ $$ \mu_0(s_1)=0.5,\qquad \mu_0(s_2)=0.3,\qquad \mu_0(s_3)=0.2. $$ ] 这表示一条轨迹开始时，有 (50%) 概率从 $s_1$ 开始，(30%) 概率从 (s_2) 开始，(20%) 概率从 (s_3) 开始。 --- ## 2.4 初始状态分布决定后续状态分布 给定策略 $\pi$ 后： [ $$ \mu_1=\mu_0P_\pi, $$ ] [ $$ \mu_2=\mu_0P_\pi^2, $$ ] [ $$ \mu_t=\mu_0P_\pi^t. $$ ] 因此，初始状态分布会影响有限时间内的状态分布。 例如，即使两个策略相同，环境转移相同，只要初始状态分布不同，前若干步访问到的状态也可能完全不同。 --- ## 2.5 初始状态分布在不同任务中的作用 在 episodic task 中，初始状态分布通常非常重要。因为每条轨迹都从 (\mu_0) 开始，目标函数常写为： # [ $$ J(\pi) = \mathbb E_{S_0\sim\mu_0,\pi} \left[ \sum_{t=0}^{T-1}\gamma^tR_{t+1} \right]. $$ ] 若是固定起始状态 (s_0)，则： # [ $$ J(\pi) = \mathbb E_{\pi} \left[ \sum_{t=0}^{T-1}\gamma^tR_{t+1} \mid S_0=s_0 \right]. $$ ] 在 continuing task 的平均奖励设定中，若马尔可夫链长期会遗忘初始状态，则长期平均性能可能与 $\mu_0$ 无关。但这是额外条件，不是自动成立。 --- # 3. 平稳状态分布：长期不再变化的状态分布 ## 3.1 定义 给定策略 $\pi$ 后，状态转移矩阵为： # [ $$ P_\pi(s,s') = \sum_a\pi(a\mid s)P(s'\mid s,a). $$ ] 若存在一个分布 $d^\pi$，满足： [ $$ d^\pi=d^\pi P_\pi, $$ ] 即分量形式： # [ $$ d^\pi(s') = \sum_s d^\pi(s)P_\pi(s,s'), $$ ] 并且： [ $$ d^\pi(s)\ge 0, \qquad \sum_s d^\pi(s)=1, $$ ] 则称 $d^\pi$ 是策略 $\pi$ 诱导马尔可夫链的平稳状态分布。 MIT 讲义将 stationary distribution 定义为满足 $\pi P=\pi$ 的分布，并解释为：如果链已经处在该分布中，经过一步转移后仍保持同一分布。([MIT OpenCourseWare](https://courses.csail.mit.edu/6.856/current/Notes/n25-markov-chains.html "6.856 Lecture Notes")) --- ## 3.2 “平稳”的精确含义 平稳不是说状态不变。平稳的对象是“分布”，不是具体状态。 也就是说，如果： [ $$ S_t\sim d^\pi, $$ ] 并且： [ $$ d^\pi=d^\pi P_\pi, $$ ] 那么： [ $$ S_{t+1}\sim d^\pi. $$ ] 状态本身仍然可能不断变化： [ $$ S_t\neq S_{t+1}, $$ ] 但状态的边缘分布保持不变。 因此，平稳状态分布表达的是： [ $$ \text{状态总体概率结构不再随时间变化}. $$ ] --- ## 3.3 平稳分布与极限分布不是完全同一概念 需要区分两个概念： 第一，平稳分布： [ $$ d^\pi=d^\pi P_\pi. $$ ] 第二，极限分布： [ $$ \lim_{t\to\infty}\mu_0P_\pi^t. $$ ] 如果对任意初始分布 $\mu_0$，都有： [ $$ \lim_{t\to\infty}\mu_0P_\pi^t=d^\pi, $$ ] 则 $d^\pi$ 不只是平稳分布，还是长期极限分布。 但是，存在平稳分布并不一定意味着从任意初始分布都会收敛到它。典型原因包括周期性或多个互不连通的闭类。MIT 讲义在讨论马尔可夫链时也强调，初始分布会诱导整条状态序列分布，而 stationary distribution 是满足 $\pi P=\pi$ 的特殊分布；二者在一般情况下不能混同。([MIT OpenCourseWare](https://courses.csail.mit.edu/6.856/current/Notes/n25-markov-chains.html "6.856 Lecture Notes")) --- ## 3.4 一个简单例子：平稳分布 设两个状态： [ $$ \mathcal S={0,1}. $$ ] 固定策略后，状态转移矩阵为： # [ $$ P_\pi = \begin{bmatrix} 0.9 & 0.1\\ 0.2 & 0.8 \end{bmatrix}. $$ ] 设平稳分布为： [ $$ d^\pi=(x,1-x). $$ ] 平稳条件： [ $$ d^\pi=d^\pi P_\pi. $$ ] 展开第一维： [ $$ x=0.9x+0.2(1-x). $$ ] 整理： # [ $$ x=0.9x+0.2-0.2x = 0.7x+0.2. $$ ] 所以： [ $$ 0.3x=0.2, $$ ] [ $$ x=\frac{2}{3}. $$ ] 因此： # [ $$ d^\pi = \left( \frac{2}{3},\frac{1}{3} \right). $$ ] 这表示长期稳定后，状态 (0) 的访问比例为 $\frac{2}{3}$，状态 (1) 的访问比例为 $\frac{1}{3}$。 --- # 4. 三者的关系：$\mu_0$、$\mu_t$、$d^\pi$ 这三个概念可以放在一个递推链条中： [ $$ \mu_0 \longrightarrow \mu_1 \longrightarrow \mu_2 \longrightarrow \cdots \longrightarrow d^\pi. $$ ] 其中： [ $$ \mu_0 $$ ] 是初始状态分布； # [ $$ \mu_t = \mu_0P_\pi^t $$ ] 是时间 (t) 的状态分布； [ $$ d^\pi $$ ] 是在满足适当条件时，长期稳定后的状态分布。 若极限存在且与初始分布无关： [ $$ \lim_{t\to\infty}\mu_0P_\pi^t=d^\pi. $$ ] 这正是 Sutton 等人在平均奖励形式中使用的假设：策略 $\pi$ 下的状态平稳分布存在，并且与初始状态无关。原论文的策略梯度定理部分正是在该假设下写出平均奖励目标： [ $$ \rho(\pi)=\sum_s d^\pi(s)\sum_a\pi(s,a)R_s^a. $$ ] NeurIPS 官方 PDF 中也给出该平均奖励形式，并将 (d^\pi(s)) 定义为在策略 (\pi) 下的状态平稳分布。([NeurIPS Papers](https://papers.neurips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) --- # 5. 与策略 $\pi$ 的关系：为什么写作 $d^\pi(s)$ 平稳分布通常写成： [ $$ d^\pi(s), $$ ] 是因为它依赖策略 $\pi$。 不同策略会导致不同动作选择概率： [ $$ \pi(a\mid s). $$ ] 不同动作选择概率会导致不同状态转移矩阵： # [ $$ P_\pi(s,s') = \sum_a\pi(a\mid s)P(s'\mid s,a). $$ ] 不同 $P_\pi$ 又会导致不同长期状态分布： [ $$ d^\pi=d^\pi P_\pi. $$ ] 因此： [ $$ \pi \longrightarrow P_\pi \longrightarrow d^\pi. $$ ] 这也是策略梯度定理中看起来最棘手的地方：性能 [ $$ \rho(\pi) $$ ] 不仅直接依赖动作概率 $\pi(a\mid s)$，还间接依赖状态分布 (d^\pi(s))。 --- # 6. 平均奖励目标中的平稳状态分布 在平均奖励设定中，性能定义为长期每步平均奖励： # [ $$ \rho(\pi) = \lim_{n\to\infty} \frac{1}{n} \mathbb E_\pi \left[ R_1+\cdots+R_n \right]. $$ ] 若平稳分布存在，则可以写成： # [ $$ \rho(\pi) = \sum_s d^\pi(s) \sum_a\pi(a\mid s)R_s^a. $$ ] 这个式子可以解释为： # [ $$ \text{长期平均奖励} = \text{长期访问某状态的频率} \times \text{在该状态下选择某动作的概率} \times \text{该状态动作的一步期望奖励} $$ ] 再对所有状态和动作求和。 也就是： # [ $$ \rho(\pi) = \sum_s \underbrace{d^\pi(s)}_{\text{长期状态频率}} \sum_a \underbrace{\pi(a\mid s)}_{\text{动作概率}} \underbrace{R_s^a}_{\text{一步期望奖励}}. $$ ] --- # 7. 折扣状态访问分布：不要与平稳分布混淆 在起始状态折扣形式中，Sutton 等人定义： # [ $$ d^\pi(s) = \sum_{t=0}^{\infty} \gamma^t \Pr(S_t=s\mid S_0=s_0,\pi). $$ ] 这不是平稳分布，而是折扣状态访问权重。 它的总质量为： # [ $$ \sum_s d^\pi(s) = \sum_s\sum_{t=0}^{\infty} \gamma^t \Pr(S_t=s\mid S_0=s_0,\pi). $$ ] 交换求和： # [ $$ \sum_s d^\pi(s) = \sum_{t=0}^{\infty} \gamma^t \sum_s\Pr(S_t=s\mid S_0=s_0,\pi). $$ ] 由于： [ $$ \sum_s\Pr(S_t=s\mid S_0=s_0,\pi)=1, $$ ] 因此： # [ $$ \sum_s d^\pi(s) = \sum_{t=0}^{\infty}\gamma^t = \frac{1}{1-\gamma}, \qquad 0\le\gamma<1. $$ ] 所以该 (d^\pi(s)) 通常不是概率分布，因为总和不是 (1)。如果要变成概率分布，需要归一化： # [ $$ \bar d^\pi_\gamma(s) = (1-\gamma) \sum_{t=0}^{\infty} \gamma^t \Pr(S_t=s\mid S_0=s_0,\pi). $$ ] 此时： [ $$ \sum_s \bar d^\pi_\gamma(s)=1. $$ ] 因此应区分： [ $$ \text{平稳状态分布} \quad d^\pi_{\text{stat}}(s) $$ ] 和 [ $$ \text{折扣状态访问权重} \quad d^\pi_\gamma(s). $$ ] 二者都可能被写作 $d^\pi(s)$，但含义取决于具体上下文。 --- # 8. 初始状态分布与折扣状态访问分布的关系 折扣状态访问权重由所有时间步的状态分布加权求和得到： # [ $$ d_\gamma^\pi(s) = \sum_{t=0}^{\infty} \gamma^t\mu_t^\pi(s). $$ ] 而： [ $$ \mu_t^\pi=\mu_0P_\pi^t. $$ ] 所以： # [ $$ d_\gamma^\pi = \sum_{t=0}^{\infty} \gamma^t\mu_0P_\pi^t. $$ ] 这说明折扣状态访问权重依赖： [ $$ \mu_0,\quad \pi,\quad P. $$ ] 若初始状态分布变化，即使策略和环境不变，折扣访问分布也会变化。原因是折扣因子更重视早期状态，而早期状态强烈依赖初始分布。 这与平均奖励平稳分布不同。若链满足长期遗忘初始状态的条件，平均奖励平稳分布可能与 (\mu_0) 无关。 --- # 9. 三种分布的严格对照 | 概念 | 记号 | 时间含义 | 是否依赖初始分布 | 是否一定是概率分布 | 典型用途 | | ------------------- | ----------------- | -------------- | -------------------------- | -------------------- | ------------------------------------ | | 初始状态分布 | $\mu_0(s)$ | (t=0) | 本身就是初始分布 | 是 | 定义轨迹从哪里开始 | | 时间 (t) 的状态分布 | $\mu_t^\pi(s)$ | 固定时间 (t) | 通常依赖 $\mu_0$ | 是 | 描述某一时刻状态随机性 | | 平稳状态分布 | $d^\pi(s)$ | 长期稳定后 | 在遍历条件下不依赖 $\mu_0$ | 是 | 平均奖励目标、长期访问频率 | | 折扣状态访问权重 | $d_\gamma^\pi(s)$ | 全时间折扣累计 | 依赖 $\mu_0$ | 通常不是，除非归一化 | 折扣回报目标、折扣 occupancy measure | --- # 10. 在策略梯度定理中的作用 策略梯度定理写作： # [ $$ \nabla_\theta \rho(\pi_\theta) = \sum_s d^\pi(s) \sum_a \nabla_\theta \pi_\theta(a\mid s) Q^\pi(s,a). $$ ] 这里的 $d^\pi(s)$ 表示“状态被当前策略访问的重要程度”。 在平均奖励形式中： [ $$ d^\pi(s) $$ ] 是平稳状态分布。 在起始状态折扣形式中： # [ $$ d^\pi(s) = \sum_{t=0}^{\infty} \gamma^t \Pr(S_t=s\mid S_0=s_0,\pi) $$ ] 是折扣状态访问权重。 因此，策略梯度定理本质上是在说： > 策略参数对性能的影响，应按照当前策略实际会访问哪些状态来加权。 很少访问的状态，即使某个动作价值很高，对当前策略性能梯度的贡献也较小；频繁访问的状态，对梯度贡献更大。 --- # 11. 为什么平稳分布依赖策略但公式中不显式求 $\nabla_\theta d^\pi$ 性能可以写为： # [ $$ \rho(\pi) = \sum_s d^\pi(s) \sum_a\pi(a\mid s)R_s^a. $$ ] 表面上，$\rho$ 对策略参数 $\theta$ 的依赖有两部分： [ $$ \theta\to \pi_\theta(a\mid s), $$ ] 以及： [ $$ \theta\to d^{\pi_\theta}(s). $$ ] 所以直觉上可能认为需要计算： [ $$ \nabla_\theta d^{\pi_\theta}(s). $$ ] 但是策略梯度定理的关键结果是：最终梯度表达式中不需要显式出现这一项。Sutton 等人的论文正是强调策略梯度表达式不包含形如 $\partial d^\pi/\partial\theta$ 的项，这使得梯度可以通过经验采样估计。([NeurIPS Papers](https://papers.neurips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) 原因是动作价值函数： [ $$ Q^\pi(s,a) $$ ] 已经包含当前动作对未来状态分布和未来奖励的全部长期影响。换句话说，状态分布变化的影响没有消失，而是被吸收到 $Q^\pi(s,a)$ 中。 --- # 12. 常见误区 ## 12.1 误区一：状态分布就是环境的固定属性 状态分布不是环境单独决定的。它由以下三者共同决定： [ $$ \mu_0,\quad \pi,\quad P. $$ ] 环境转移 $P$ 只描述在给定状态和动作后如何转移；如果策略不同，动作分布不同，状态分布也会不同。 --- ## 12.2 误区二：平稳分布就是初始状态分布 初始状态分布是： [ $$ \mu_0. $$ ] 平稳分布是满足： [ $$ d^\pi=d^\pi P_\pi $$ ] 的长期稳定分布。 二者只有在特殊情况下相同。若： [ $$ \mu_0=d^\pi, $$ ] 那么： [ $$ \mu_1=\mu_0P_\pi=d^\pi P_\pi=d^\pi. $$ ] 此时从一开始就处于平稳状态。但一般情况下： [ $$ \mu_0\neq d^\pi. $$ ] --- ## 12.3 误区三：平稳分布表示状态不再变化 平稳分布不是说状态固定不动，而是说分布不变。 即使： [ $$ S_t\sim d^\pi, \qquad S_{t+1}\sim d^\pi, $$ ] 也可能有： [ $$ S_{t+1}\neq S_t. $$ ] 状态可以不断转移，但整体概率分布保持不变。 --- ## 12.4 误区四：所有 $d^\pi(s)$ 都是概率分布 不是。 平均奖励设定中的 $d^\pi(s)$ 通常是概率分布： $$ \sum_s d^\pi(s)=1. $$ ] 折扣设定中的未归一化访问权重： $$ d_\gamma^\pi(s) = \sum_{t=0}^{\infty} \gamma^t \Pr(S_t=s) $$ ] 总和为： $$ \frac{1}{1-\gamma}, $$ ] 不是 (1)。归一化后才是概率分布： $$ \bar d_\gamma^\pi(s) = (1-\gamma)d_\gamma^\pi(s). $$ ] --- # 13. 最核心区别 可以用一句话区分： $$ \boxed{ \mu_0(s) \text{ 是开始时在哪；} } $$ $$ \boxed{ \mu_t^\pi(s) \text{ 是第 }t\text{ 步在哪；} } $$ $$ \boxed{ d^\pi(s) \text{ 是长期稳定后经常在哪；} } $$ $$ \boxed{ d_\gamma^\pi(s) \text{ 是从开始出发后，按折扣累计起来主要访问哪。} } $$ ] 在策略梯度理论中，状态分布或状态访问权重用于回答： > 当前策略实际会在多大程度上遇到每个状态？ 只有把动作价值 $Q^\pi(s,a)$ 按这些状态访问权重加权，才能得到当前策略真实性能的梯度。 --- 下面按照 **“翻译”** 与 **“详细解释”** 分开处理。由于原文来自 OCR 识别文本，部分符号存在错误；以下翻译会先进行符号校正，再给出较为准确的数学表达。该段出自 Sutton, McAllester, Singh, Mansour 的 _Policy Gradient Methods for Reinforcement Learning with Function Approximation_，NeurIPS 官方页面与上传文件均包含该论文内容。 ([NeurIPS Papers](https://papers.neurips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) # 一、符号校正 几个关键公式应读作： $$ f_w:\mathcal S\times\mathcal A\to\mathbb R, $$ $$ \sum_s d^\pi(s)\sum_a\pi(s,a) \left[ Q^\pi(s,a)-f_w(s,a) \right] \frac{\partial f_w(s,a)}{\partial w} =0, \tag{3} $$ $$ \frac{\partial f_w(s,a)}{\partial w} \frac{\partial \pi(s,a)}{\partial\theta} \frac{1}{\pi(s,a)} \nabla_\theta\log\pi(s,a), \tag{4} $$ $$ \frac{\partial\rho}{\partial\theta} \sum_s d^\pi(s)\sum_a \frac{\partial\pi(s,a)}{\partial\theta} f_w(s,a). \tag{5} $$ --- # 二、翻译 ## 2. Policy Gradient with Approximation ## 2. 带函数近似的策略梯度 现在考虑 $Q^\pi$ 由一个学习得到的函数近似器来近似的情形。如果这种近似足够好，那么可以希望用该近似函数代替公式 $(2)$ 中的 $Q^\pi$，并且所得方向仍然大致指向真实梯度方向。 例如，Jaakkola、Singh 和 Jordan 在 1995 年证明：对于由表格型 POMDP 产生的函数近似特例，可以保证所得到的方向与真实梯度具有正内积；这足以保证沿该方向进行小步移动时性能会提升。本文将他们的结果扩展到一般函数近似情形，并证明所得表达式与真实梯度相等。 令 $$ f_w:\mathcal S\times\mathcal A\to\mathbb R $$ 表示对 $$ Q^\pi $$ 的近似，其中 $w$ 是函数近似器参数。自然的做法是：沿着策略 $\pi$ 采样，并用类似如下规则更新 $w$： $$ \Delta w_t \propto -\frac{\partial}{\partial w} \left[ \hat Q^\pi(S_t,A_t)-f_w(S_t,A_t) \right]^2 $$ 也就是近似等价于： $$ \Delta w_t \propto \left[ \hat Q^\pi(S_t,A_t)-f_w(S_t,A_t) \right] \frac{\partial f_w(S_t,A_t)}{\partial w}. $$ 其中， $$ \hat Q^\pi(S_t,A_t) $$ 是 $$ Q^\pi(S_t,A_t) $$ 的某种无偏估计，例如可以是实际回报 $R_t$。 当这样的过程收敛到一个局部最优点时，有： $$ \sum_s d^\pi(s) \sum_a \pi(s,a) \left[ Q^\pi(s,a)-f_w(s,a) \right] \frac{\partial f_w(s,a)}{\partial w} \tag{3} $$ --- **定理 2，带函数近似的策略梯度。** 如果 $f_w$ 满足公式 $(3)$，并且与策略参数化兼容，也就是说： $$ \frac{\partial f_w(s,a)}{\partial w} = \frac{\partial \pi(s,a)}{\partial\theta} \frac{1}{\pi(s,a)}, \tag{4} $$ 那么： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} f_w(s,a). \tag{5} $$ --- **证明。** 将公式 $(3)$ 与公式 $(4)$ 结合，得到： $$ \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} \left[ Q^\pi(s,a)-f_w(s,a) \right] \tag{6} $$ 这表明，$f_w(s,a)$ 的误差与策略参数化的梯度正交。由于上式等于零，所以可以从策略梯度定理 $(2)$ 中减去它： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a) = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} \left[ Q^\pi(s,a)-f_w(s,a) \right]. $$ 整理可得： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} \left[ Q^\pi(s,a)-Q^\pi(s,a)+f_w(s,a) \right]. $$ 因此： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} f_w(s,a). $$ 证毕。 Tsitsiklis 指出，要满足该兼容条件，$f_w$ 可能必须对右端给出的特征呈线性形式。 --- ## 3. Application to Deriving Algorithms and Advantages ## 3. 用于推导算法和优势函数的应用 给定一个策略参数化形式之后，定理 2 可以用于推导相应的值函数参数化形式。例如，考虑一个策略，它是状态-动作特征线性组合上的 **Gibbs 分布**： $$ \pi(s,a) = \frac{ \exp(\theta^\top\phi_{sa}) }{ \sum_b\exp(\theta^\top\phi_{sb}) }, \qquad \forall s\in\mathcal S,\ a\in\mathcal A. $$ 其中，每个 $$ \phi_{sa} $$ 是一个 $i$ 维特征向量，用于刻画状态-动作对 $(s,a)$。 为了满足兼容条件 $(4)$，必须有： $$ \frac{\partial f_w(s,a)}{\partial w} = \frac{\partial\pi(s,a)}{\partial\theta} \frac{1}{\pi(s,a)} = \phi_{sa} - \sum_b\pi(s,b)\phi_{sb}. $$ 因此，$f_w$ 的自然参数化形式是： $$ f_w(s,a) = w^\top \left[ \phi_{sa} - \sum_b\pi(s,b)\phi_{sb} \right]. $$ 换句话说，$f_w$ 必须与策略使用相同的特征呈线性关系，只不过这些特征需要在每个状态下被归一化为均值为零。对于多种非线性策略参数化，例如多层反向传播网络，也可以类似地推导相应算法。 仔细观察可知，上述 $f_w$ 形式要求它在每个状态下具有零均值： $$ \sum_a\pi(s,a)f_w(s,a)=0, \qquad \forall s\in\mathcal S. $$ 在这个意义上，与其把 $f_w$ 看成对 $Q^\pi$ 的近似，不如把它看成对优势函数的近似： $$ A^\pi(s,a) = Q^\pi(s,a)-V^\pi(s). $$ 收敛要求 $(3)$ 实际上要求 $f_w$ 在每个状态中正确刻画动作之间的相对价值，而不是正确刻画绝对价值，也不是正确刻画不同状态之间的价值变化。 本文的结果可以看作是对“优势函数在强化学习值函数近似中具有特殊地位”的一种理论解释。事实上，公式 $(2)$、$(3)$、$(5)$ 都可以推广为：在值函数或其近似中加入任意只依赖状态的函数。例如，公式 $(5)$ 可以推广为： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} \left[ f_w(s,a)+v(s) \right], $$ 其中 $$ v:\mathcal S\to\mathbb R $$ 是任意函数。 这是因为： $$ \sum_a \frac{\partial\pi(s,a)}{\partial\theta} = 0, \qquad \forall s\in\mathcal S. $$ 函数 $v$ 的选择不会影响任何定理的成立，但会显著影响梯度估计器的方差。这里的问题与早期强化学习中 baseline 的使用完全类似。在实践中，$v$ 应当大致设置为当前可获得的对 $V^\pi$ 的最好近似。本文结果表明，该近似过程可以在不影响 $f_w$ 和 $\pi$ 的期望演化的情况下进行。 --- ## 4. Convergence of Policy Iteration with Function Approximation ## 4. 带函数近似的策略迭代收敛性 给定定理 2，可以首次证明一种带函数近似的策略迭代形式会收敛到局部最优策略。 **定理 3，带函数近似的策略迭代。** 令 $\pi$ 和 $f_w$ 分别是策略和值函数的任意可微函数近似器，并且二者满足兼容条件 $(4)$。再假设策略关于参数的二阶导数有界，即： $$ \max_{\theta,s,a,i,j} \left| \frac{\partial^2\pi(s,a)} {\partial\theta_i\partial\theta_j} \right| < B<\infty. $$ 令 ${\alpha_k}_{k=0}^{\infty}$ 是一个步长序列，满足： $$ \lim_{k\to\infty}\alpha_k=0, \qquad \sum_k\alpha_k=\infty. $$ 则对于任何奖励有界的 MDP，由任意初始参数 $\theta_0$ 定义策略序列： $$ \pi_k=\pi(\cdot,\cdot,\theta_k), $$ 并且令 $w_k$ 满足： $$ \sum_s d^{\pi_k}(s) \sum_a \pi_k(s,a) \left[ Q^{\pi_k}(s,a)-f_w(s,a) \right] \frac{\partial f_w(s,a)}{\partial w} = 0, $$ 再按照： $$ \theta_{k+1} = \theta_k + \alpha_k \sum_s d^{\pi_k}(s) \sum_a \frac{\partial\pi_k(s,a)}{\partial\theta} f_{w_k}(s,a) $$ 更新，则性能序列 $$ {\rho(\pi_k)}_{k=0}^{\infty} $$ 收敛，并且满足： $$ \lim_{k\to\infty} \frac{\partial\rho(\pi_k)}{\partial\theta} $$ **证明。** 定理 2 保证 $\theta_k$ 的更新方向就是梯度方向。对策略二阶导数的有界性假设以及 MDP 奖励有界性共同保证性能目标的二阶导数也是有界的。再结合步长条件，可以应用 Bertsekas 和 Tsitsiklis 书中第 96 页命题 3.5 的结论，从而保证收敛到局部最优点。证毕。 --- # 三、详细解释 # 1. 这一部分的核心问题 前一节的策略梯度定理给出： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 这个公式仍然包含真实动作价值函数： $$ Q^\pi(s,a). $$ 但在实际强化学习中，真实 $Q^\pi$ 通常未知。环境转移概率、奖励函数和长期回报结构通常无法精确获得，因此需要用函数近似器： $$ f_w(s,a) $$ 来近似 $$ Q^\pi(s,a). $$ 自然问题是： $$ Q^\pi(s,a) \quad \text{能否直接替换为} \quad f_w(s,a)? $$ 也就是能否写成： $$ \frac{\partial\rho}{\partial\theta} \stackrel{?}{\approx} \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} f_w(s,a). $$ 这正是本节要解决的问题。 更精确地说，本节不是简单宣称“近似足够好即可”。本节证明的是：如果 $f_w$ 满足特定的正交条件与兼容条件，那么用 $f_w$ 替换 $Q^\pi$ 后，不只是“大致正确”，而是在期望意义下与真实策略梯度完全相等。该结论是论文的核心理论贡献之一；NeurIPS 官方摘要也将其概括为：梯度可以写成一种适合从经验中估计、并可由近似动作价值或优势函数辅助的形式。([NeurIPS Papers](https://papers.nips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) --- # 2. 为什么普通的 $Q$ 近似不一定给出正确策略梯度 如果任意取一个函数近似器： $$ f_w(s,a)\approx Q^\pi(s,a), $$ 并代入策略梯度公式，得到的方向一般是有偏的。 真实梯度为： $$ g = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 用近似函数得到的方向为： $$ \hat g = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} f_w(s,a). $$ 二者差异为： $$ g-\hat g = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} \left[ Q^\pi(s,a)-f_w(s,a) \right]. $$ 令近似误差为： $$ \epsilon_w(s,a) = Q^\pi(s,a)-f_w(s,a). $$ 则误差造成的梯度偏差是： $$ g-\hat g = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} \epsilon_w(s,a). $$ 因此，要使近似 critic 不改变策略梯度，需要： $$ \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} \epsilon_w(s,a)=0 $$ 这就是定理 2 的实质目标。 --- # 3. 公式 $(3)$：误差正交条件 论文设： $$ f_w(s,a) $$ 是对 $Q^\pi(s,a)$ 的近似。若通过最小化加权均方误差学习 $f_w$，自然目标为： $$ J(w) - \frac12 \sum_s d^\pi(s) \sum_a\pi(s,a) \left[ Q^\pi(s,a)-f_w(s,a) \right]^2. $$ 这里的权重： $$ d^\pi(s)\pi(s,a) $$ 表示在当前策略 $\pi$ 下，状态-动作对 $(s,a)$ 被采样到的概率或访问权重。 对 $w$ 求梯度： $$ \nabla_w J(w) = -\sum_s d^\pi(s) \sum_a\pi(s,a) \left[ Q^\pi(s,a)-f_w(s,a) \right] \nabla_w f_w(s,a). $$ 在局部最优点，一阶必要条件是： $$ \nabla_w J(w)=0. $$ 去掉负号，即得到论文中的公式 $(3)$： $$ \sum_s d^\pi(s) \sum_a\pi(s,a) \left[ Q^\pi(s,a)-f_w(s,a) \right] \frac{\partial f_w(s,a)}{\partial w} =0. $$ 这个公式的含义不是： $$ f_w(s,a)=Q^\pi(s,a) \quad \forall s,a. $$ 它只表示近似误差： $$ Q^\pi(s,a)-f_w(s,a) $$ 与函数近似器的参数方向： $$ \frac{\partial f_w(s,a)}{\partial w} $$ 在加权内积下正交。 换句话说，$f_w$ 不需要完美拟合 $Q^\pi$，只需要在自身可表示的函数空间中达到局部最优；剩余误差不能再通过微调 $w$ 在线性一阶意义下降低。 --- # 4. 公式 $(4)$：compatible function approximation 定理 2 的第二个条件是： $$ \frac{\partial f_w(s,a)}{\partial w} = \frac{1}{\pi(s,a)} \frac{\partial\pi(s,a)}{\partial\theta}. $$ 由于： $$ \nabla_\theta\log\pi(s,a) = \frac{1}{\pi(s,a)} \nabla_\theta\pi(s,a), $$ 所以该条件可写为： $$ \frac{\partial f_w(s,a)}{\partial w} = \nabla_\theta\log\pi(s,a). $$ 这就是所谓 **compatible function approximation**，即兼容函数近似。 它要求 critic 的特征方向与 actor 的 score function 完全一致。 这里的 score function 是： $$ \nabla_\theta\log\pi_\theta(a\mid s). $$ 它表示：在状态 (s) 下，动作 (a) 的对数概率对策略参数的敏感性。 兼容条件可以理解为： > critic 不是任意近似 $Q^\pi$，而是必须用与策略梯度方向一致的特征来近似价值。 如果 $f_w$ 是线性形式： $$ f_w(s,a)=w^\top x(s,a), $$ 则： $$ \frac{\partial f_w(s,a)}{\partial w}=x(s,a). $$ 兼容条件要求： $$ x(s,a)=\nabla_\theta\log\pi_\theta(a\mid s). $$ 因此，兼容 critic 的典型形式是： $$ f_w(s,a) = w^\top\nabla_\theta\log\pi_\theta(a\mid s). $$ 这就是“critic 的特征必须等于 actor 的 score 特征”。 --- # 5. 为什么公式 $(3)$ 和 $(4)$ 合起来可以保证梯度相等 由公式 $(3)$： $$ \sum_s d^\pi(s) \sum_a\pi(s,a) \left[ Q^\pi(s,a)-f_w(s,a) \right] \frac{\partial f_w(s,a)}{\partial w} =0. $$ 代入兼容条件： $$ \frac{\partial f_w(s,a)}{\partial w} = \frac{1}{\pi(s,a)} \frac{\partial\pi(s,a)}{\partial\theta}. $$ 得到： $$ \sum_s d^\pi(s) \sum_a\pi(s,a) \left[ Q^\pi(s,a)-f_w(s,a) \right] \frac{1}{\pi(s,a)} \frac{\partial\pi(s,a)}{\partial\theta} =0. $$ 约去 $\pi(s,a)$： $$ \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} \left[ Q^\pi(s,a)-f_w(s,a) \right] =0. $$ 这正是公式 $(6)$。 该式说明：虽然 $f_w$ 可能不是 $Q^\pi$ 的精确近似，但它的误差在策略梯度关心的方向上没有分量。 真实梯度为： $$ g = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 近似梯度为： $$ \hat g = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} f_w(s,a). $$ 二者差异： $$ g-\hat g = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} \left[ Q^\pi(s,a)-f_w(s,a) \right]. $$ 由于公式 $(6)$ 说明该差异为零，因此： $$ g=\hat g. $$ 也就是说： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} f_w(s,a). $$ $\frac{\partial\rho}{\partial\theta}=\sum_s d^\pi(s)\sum_a \frac{\partial\pi(s,a)}{\partial\theta}f_w(s,a)$ 这就是定理 2 的核心。 --- # 6. “正内积”与“梯度相等”的区别 文中提到 Jaakkola、Singh 和 Jordan 的结果可以保证更新方向与真实梯度有正内积。 设真实梯度为： $$ g=\nabla_\theta\rho(\theta), $$ 某个估计方向为： $$ \hat g. $$ 如果： $$ g^\top\hat g>0, $$ 则对足够小的步长 $\alpha>0$，有一阶近似： $$ \rho(\theta+\alpha\hat g) \approx \rho(\theta) + \alpha g^\top\hat g > \rho(\theta). $$ 因此，正内积足以保证小步改进。 但 Sutton 等人在这里证明的是更强结果： $$ \hat g=g. $$ 也就是说，满足 $(3)$ 与 $(4)$ 时，使用近似 $f_w$ 得到的不是“有改进性的方向”，而是精确的真实策略梯度方向。 --- # 7. Gibbs/Softmax 策略下如何得到兼容 critic 文中考虑的策略是 Gibbs 分布，也就是现在常说的 softmax 策略： $$ \pi(s,a) = \frac{\exp(\theta^\top\phi_{sa})} {\sum_b\exp(\theta^\top\phi_{sb})}. $$ 其中： $$ \phi_{sa} $$ 是状态-动作特征向量。 对数策略为： $$ \log\pi(s,a) = \theta^\top\phi_{sa} - \log \sum_b\exp(\theta^\top\phi_{sb}). $$ 对 $\theta$ 求导： $$ \nabla_\theta\log\pi(s,a) = \phi_{sa} - \frac{ \sum_b\exp(\theta^\top\phi_{sb})\phi_{sb} }{ \sum_b\exp(\theta^\top\phi_{sb}) }. $$ 由于： $$ \frac{ \exp(\theta^\top\phi_{sb}) }{ \sum_c\exp(\theta^\top\phi_{sc}) } = \pi(s,b), $$ 所以： $$ \nabla_\theta\log\pi(s,a) = \phi_{sa} - \sum_b\pi(s,b)\phi_{sb}. $$ 兼容条件要求： $$ \frac{\partial f_w(s,a)}{\partial w} = \nabla_\theta\log\pi(s,a). $$ 因此自然令： $$ f_w(s,a) = w^\top \left[ \phi_{sa} - \sum_b\pi(s,b)\phi_{sb} \right]. $$ 这说明，对于 softmax 线性策略，兼容 critic 应使用“中心化状态-动作特征”： $$ \phi_{sa} = \mathbb E_{b\sim\pi(\cdot\mid s)}[\phi_{sb}]. $$ 而不是直接使用原始特征： $$ \phi_{sa}. $$ --- # 8. 为什么 $f_w$ 的状态内均值为零 由： $$ f_w(s,a) = w^\top \left[ \phi_{sa} - \sum_b\pi(s,b)\phi_{sb} \right], $$ 对动作按策略求期望： $$ \sum_a\pi(s,a)f_w(s,a) = \sum_a\pi(s,a) w^\top \left[ \phi_{sa} - \sum_b\pi(s,b)\phi_{sb} \right]. $$ 将 $w^\top$ 提出： $$ =w^\top \left[ \sum_a\pi(s,a)\phi_{sa} - \sum_a\pi(s,a) \sum_b\pi(s,b)\phi_{sb} \right]. $$ 由于： $$ \sum_a\pi(s,a)=1, $$ 所以第二项为： $$ \sum_a\pi(s,a) \sum_b\pi(s,b)\phi_{sb} - \sum_b\pi(s,b)\phi_{sb}. $$ 于是： $$ \sum_a\pi(s,a)f_w(s,a) = w^\top \left[ \sum_a\pi(s,a)\phi_{sa} - \sum_b\pi(s,b)\phi_{sb} \right]=0 $$ 因此： $$ \sum_a\pi(s,a)f_w(s,a)=0. $$ 这表示，在每个状态 $s$ 内，$f_w(s,a)$ 对动作分布 $\pi(\cdot\mid s)$ 的平均值为零。 --- # 9. 为什么 $f_w$ 更像优势函数，而不是 $Q$ 函数 优势函数定义为： $$ A^\pi(s,a) = Q^\pi(s,a)-V^\pi(s). $$ 其中： $$ V^\pi(s) = \sum_a\pi(s,a)Q^\pi(s,a). $$ 对 $A^\pi$ 按动作取策略期望： $$ \sum_a\pi(s,a)A^\pi(s,a) = \sum_a\pi(s,a) \left[ Q^\pi(s,a)-V^\pi(s) \right]. $$ 整理： $$ =\sum_a\pi(s,a)Q^\pi(s,a) - V^\pi(s)\sum_a\pi(s,a). $$ 由于： $$ \sum_a\pi(s,a)Q^\pi(s,a)=V^\pi(s), \qquad \sum_a\pi(s,a)=1, $$ 所以： $$ \sum_a\pi(s,a)A^\pi(s,a) = V^\pi(s)-V^\pi(s)=0. $$ 这与 $f_w$ 的状态内零均值性质一致。因此 $f_w$ 更自然地近似： $$ A^\pi(s,a) $$ 而不是： $$ Q^\pi(s,a). $$ 这也是论文说“最好把 $f_w$ 看作优势函数近似，而不是 $Q^\pi$ 近似”的原因。 --- # 10. 为什么策略梯度只关心动作的相对价值 策略梯度为： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 若给 $Q^\pi(s,a)$ 加上任意只依赖状态的函数： $$ v(s), $$ 则新表达式为： $$ \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} \left[ Q^\pi(s,a)+v(s) \right]. $$ 拆开： $$ =\sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a) + \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} v(s). $$ 第二项中 $v(s)$ 与动作 $a$ 无关，因此： $$ \sum_a \frac{\partial\pi(s,a)}{\partial\theta} v(s) = v(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta}. $$ 又因为： $$ \sum_a\pi(s,a)=1, $$ 两边对 $\theta$ 求导： $$ \sum_a \frac{\partial\pi(s,a)}{\partial\theta} = \frac{\partial}{\partial\theta}1=0 $$ 所以： $$ \sum_a \frac{\partial\pi(s,a)}{\partial\theta} v(s)=0. $$ 因此，在策略梯度中： $$ Q^\pi(s,a) $$ 可以替换为： $$ Q^\pi(s,a)+v(s) $$ 而不改变期望梯度。 特别地，令： $$ v(s)=-V^\pi(s), $$ 就得到： $$ Q^\pi(s,a)-V^\pi(s) = A^\pi(s,a). $$ 所以策略梯度可以写成： $$ \nabla_\theta\rho = \mathbb E \left[ \nabla_\theta\log\pi_\theta(a\mid s) A^\pi(s,a) \right]. $$ 这说明策略梯度只关心同一状态下不同动作之间的相对好坏，而不关心该状态整体价值的绝对高低。 --- # 11. baseline 与方差降低 虽然任意 $v(s)$ 不改变期望梯度，但会影响采样估计的方差。 策略梯度采样形式为： $$ \hat g = \nabla_\theta\log\pi_\theta(A_t\mid S_t) \left[ Q^\pi(S_t,A_t)+v(S_t) \right]. $$ 不同 $v(s)$ 给出相同的期望： $$ \mathbb E[\hat g]=\nabla_\theta\rho, $$ 但方差不同。 若选择： $$ v(s)=-V^\pi(s), $$ 则使用的是优势函数： $$ A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s). $$ 这通常比直接使用 $Q^\pi(s,a)$ 方差更低，因为 $V^\pi(s)$ 去除了状态本身的公共价值水平，只留下动作相对于该状态平均水平的差异。 这就是 baseline 的作用。 文中指出，$v$ 的选择不影响定理，但显著影响梯度估计器方差。实践中，应把 $v$ 设为对 $V^\pi$ 的最好近似。 --- # 12. 这部分对 actor-critic 的含义 actor-critic 方法包含两个部分： $$ \text{actor: } \pi_\theta(a\mid s), $$ $$ \text{critic: } f_w(s,a)\ \text{或}\ V_w(s). $$ 在普通直觉中，critic 用于估计价值，actor 根据 critic 改进策略。 本节更精确地说明：critic 不能只是任意估计价值。若要保证 actor 的更新方向等于真实性能梯度，critic 必须满足： 第一，达到加权均方误差的局部最优，即误差正交条件： $$ \sum_s d^\pi(s)\sum_a\pi(s,a) [Q^\pi-f_w] \nabla_w f_w=0. $$ 第二，critic 特征必须与 actor 的 score function 兼容： $$ \nabla_w f_w(s,a) = \nabla_\theta\log\pi_\theta(a\mid s). $$ 在这两个条件下，actor 使用 critic 的更新： $$ \sum_s d^\pi(s) \sum_a \nabla_\theta\pi_\theta(a\mid s) f_w(s,a) $$ 等于真实策略梯度。 因此，定理 2 是 actor-critic 方法的重要理论基础。它解释了为什么“用 critic 辅助策略梯度”在特定结构下可以不引入偏差。 --- # 13. 定理 3 的收敛性含义 定理 3 说明，在定理 2 的基础上，可以构造一种策略迭代过程，并证明其收敛到局部最优策略。 该过程可以抽象为： 第一步，给定当前策略： $$ \pi_k=\pi_{\theta_k}. $$ 第二步，找到一个 critic： $$ f_{w_k}, $$ 使它满足误差正交条件： $$ \sum_s d^{\pi_k}(s) \sum_a\pi_k(s,a) [ Q^{\pi_k}(s,a)-f_{w_k}(s,a) ] \nabla_w f_{w_k}(s,a) =0. $$ 第三步，用 critic 构造策略梯度： $$ g_k = \sum_s d^{\pi_k}(s) \sum_a \nabla_\theta\pi_k(s,a) f_{w_k}(s,a). $$ 由定理 2： $$ g_k = \nabla_\theta\rho(\pi_k). $$ 第四步，执行梯度上升： $$ \theta_{k+1} = \theta_k+\alpha_k g_k. $$ 因此，整个算法本质上是对性能目标： $$ \rho(\pi_\theta) $$ 做梯度上升。 --- # 14. 步长条件的意义 定理 3 要求步长序列满足： $$ \lim_{k\to\infty}\alpha_k=0, $$ 以及： $$ \sum_k\alpha_k=\infty. $$ 第一个条件表示：后期步长逐渐变小，防止在最优点附近持续震荡。 第二个条件表示：总更新量不能太小，否则可能在尚未到达驻点前就停止移动。 这类条件在随机逼近和梯度法收敛分析中很常见。它们共同表达： $$ \text{单步越来越谨慎，但长期仍有足够移动能力。} $$ --- # 15. 收敛结论到底说明什么 定理结论是： $$ \lim_{k\to\infty} \frac{\partial\rho(\pi_k)}{\partial\theta} $$ 这表示序列收敛到性能目标的驻点。 严格地说： $$ \nabla_\theta\rho(\theta)=0 $$ 说明是一阶驻点。该点可能是局部最大点，也可能是鞍点，甚至在非凸情形下可能存在更复杂情况。论文表述为局部最优策略，是在其所引用的确定性梯度收敛框架和局部结构语境下使用的说法；从现代非凸优化角度看，更谨慎的表述是“收敛到一阶驻点或局部最优候选点”。 该结果不是全局最优保证。 也就是说，定理 3 不保证： $$ \rho(\pi_k) \to \max_\pi \rho(\pi). $$ 它只保证在参数化策略空间中，梯度最终趋于零。 --- # 16. 定理 3 的假设强度 该收敛定理依赖较强条件： 第一，critic 必须精确满足兼容条件： $$ \nabla_w f_w(s,a) = \nabla_\theta\log\pi_\theta(a\mid s). $$ 第二，每一步 critic 必须满足误差正交条件，相当于在当前策略下完成了精确或局部最优的 critic 拟合。 第三，使用的是精确期望： $$ \sum_s d^\pi(s)\sum_a(\cdots), $$ 而不是有限样本估计。 第四，奖励有界。 第五，策略二阶导数有界。 这些条件使得定理可以成立，但也说明该结果并不直接覆盖现代深度 actor-critic 的所有实践情形。现代 PPO、A2C、SAC 等方法中的 critic 通常并不严格采用兼容函数近似形式，critic 也未必在每个 actor 更新前完全收敛。 因此，这一节的理论意义主要是建立原则： $$ \text{若 critic 与 actor 兼容，并且 critic 拟合误差满足正交条件，则 actor 更新可等于真实策略梯度。} $$ --- # 17. 与现代优势函数 actor-critic 的关系 现代 actor-critic 常用形式为： $$ \nabla_\theta J(\theta) \approx \mathbb E \left[ \nabla_\theta\log\pi_\theta(A_t\mid S_t) \hat A_t \right]. $$ 其中： $$ \hat A_t $$ 可能来自 TD error、$n$-step return、GAE 或 learned critic。 这与本文结论高度相关。本文说明，在理论上，策略梯度可以使用 advantage-like 的对象，而不必使用完整 $Q^\pi$。这是因为状态基线项不会改变期望梯度。 但需要注意，现代算法中使用的 $\hat A_t$ 通常是近似估计，不一定满足本文严格的 compatible condition。因此现代算法更多是继承了本文的结构思想，而不是逐字满足本文全部假设。 --- # 18. 本段核心总结 这部分的核心逻辑可以概括为： $$ \text{策略梯度定理需要 } Q^\pi $$ $$ \Downarrow $$ $$ Q^\pi \text{ 通常未知，因此用 } f_w \text{ 近似} $$ $$ \Downarrow $$ $$ \text{任意 } f_w \text{ 会引入梯度偏差} $$ $$ \Downarrow $$ $$ \text{若 } f_w \text{ 满足误差正交条件 } (3) $$ $$ \text{并满足兼容条件 } (4) $$ $$ \Downarrow $$ $$ \sum_s d^\pi(s) \sum_a \nabla_\theta\pi(s,a)f_w(s,a) = \nabla_\theta\rho $$ $$ \Downarrow $$ $$ f_w \text{ 实质上应近似 advantage，而非普通 } Q $$ $$ \Downarrow $$ $$ \text{由此可证明一种带函数近似的策略迭代收敛到局部最优候选点。} $$ 最关键的思想是： $$ \boxed{ critic 不必在所有意义下完美近似 Q^\pi； 只要它在 actor 的 score-function 子空间中给出正确投影， actor 更新就可以等于真实策略梯度。 } $$ 这就是 compatible function approximation 的本质。 --- 下面详细解释 Sutton, McAllester, Singh, Mansour 论文附录中 **Theorem 1，即 Policy Gradient Theorem** 的证明。该证明出自 _Policy Gradient Methods for Reinforcement Learning with Function Approximation_ 的附录；原论文的 NeurIPS 官方 PDF 和上传文件都包含该附录证明。 ([NeurIPS Papers](https://papers.neurips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) --- # 1. 先还原 OCR 错误后的定理 原文 OCR 中有不少符号识别错误。需要先把符号还原，否则证明很难读。 主要还原如下： $$ 1I',\ 7r,\ 11' \rightarrow \pi $$ $$ 0,\ fJ \rightarrow \theta $$ $$ p(\pi) \rightarrow \rho(\pi) $$ $$ cP(s),\ d7f(s),\ ~ \rightarrow d^\pi(s) $$ $$ Q1T,\ Q7I' \rightarrow Q^\pi $$ $$ P^a_{ss'} \rightarrow P(s'\mid s,a) $$ 论文要证明的策略梯度定理是： $$ \frac{\partial \rho}{\partial \theta} = \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial \theta} Q^\pi(s,a). $$ 这个定理说明：策略性能目标 $\rho$ 关于策略参数 $\theta$ 的梯度，可以写成状态访问分布、策略概率导数和动作价值函数的加权和。论文正文也强调，该表达式的关键是没有显式出现 $\partial d^\pi(s)/\partial\theta$ 项，因此适合从经验中估计。 ([NeurIPS Papers](https://papers.nips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) --- # 2. 证明分成两种情形 附录分两部分证明： $$ \text{average-reward formulation} $$ 和 $$ \text{start-state formulation}. $$ 也就是： 1. **平均奖励形式**：目标是长期每步平均奖励； 2. **起始状态形式**：目标是从指定初始状态 (s_0) 出发的折扣累计回报。 两种情形的结论形式相同： $$ \frac{\partial \rho}{\partial \theta} = \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial \theta} Q^\pi(s,a). $$ 但这里的 $d^\pi(s)$ 含义不同： 平均奖励形式中： $$ d^\pi(s) $$ 是策略 $\pi$ 下的平稳状态分布。 起始状态折扣形式中： $$ d^\pi(s) = \sum_{k=0}^{\infty} \gamma^k \Pr(S_k=s\mid S_0=s_0,\pi) $$ 是折扣状态访问权重，不一定是概率分布。 --- # 3. 平均奖励形式的证明 ## 3.1 平均奖励形式中的基本定义 平均奖励目标是： $$ \rho(\pi) = \sum_s d^\pi(s) \sum_a \pi(s,a)R_s^a. $$ 其中： $$ d^\pi(s) $$ 是策略 $\pi$ 下的平稳状态分布，满足： $$ d^\pi(s') = \sum_s d^\pi(s) \sum_a \pi(s,a)P^a_{ss'}. $$ 也就是： $$ d^\pi=d^\pi P_\pi. $$ 这里： $$ P_\pi(s'\mid s) = \sum_a \pi(s,a)P^a_{ss'} $$ 是策略 $\pi$ 诱导出的状态转移矩阵。 平均奖励形式下的动作价值函数满足差分 Bellman 方程： $$ Q^\pi(s,a) = R_s^a-\rho(\pi) + \sum_{s'}P^a_{ss'}V^\pi(s'). $$ 这里的状态价值函数定义为： $$ V^\pi(s) = \sum_a \pi(s,a)Q^\pi(s,a). $$ 注意：平均奖励情形下的 $V^\pi$ 与 $Q^\pi$ 是 differential value，即差分价值。因为没有折扣，不能简单累加无限奖励，所以用 $R-\rho$ 表示相对于长期平均奖励的超额奖励。 --- ## 3.2 从 $V^\pi(s)$ 开始求导 附录第一行实际是在写： $$ \frac{\partial V^\pi(s)}{\partial\theta} \overset{\mathrm{def}}{=} \frac{\partial}{\partial\theta} \sum_a \pi(s,a)Q^\pi(s,a). $$ 因为： $$ V^\pi(s) = \sum_a \pi(s,a)Q^\pi(s,a). $$ 对 $\theta$ 求导，使用乘积法则： $$ \frac{\partial V^\pi(s)}{\partial\theta} = \sum_a \left[ \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a) + \pi(s,a) \frac{\partial Q^\pi(s,a)}{\partial\theta} \right]. $$ 这一步只是对 $$ \pi(s,a)Q^\pi(s,a) $$ 求导： $$ \frac{\partial}{\partial\theta} \left[ \pi(s,a)Q^\pi(s,a) \right] = \frac{\partial\pi(s,a)}{\partial\theta}Q^\pi(s,a) + \pi(s,a)\frac{\partial Q^\pi(s,a)}{\partial\theta}. $$ 这里 $Q^\pi$ 也依赖 $\theta$，因为策略变了以后，未来回报分布会变，所以 $Q^\pi$ 也会变。 --- ## 3.3 代入 $Q^\pi$ 的 Bellman 方程 平均奖励下： $$ Q^\pi(s,a) = R_s^a-\rho(\pi) + \sum_{s'}P^a_{ss'}V^\pi(s'). $$ 对 $\theta$ 求导： $$ \frac{\partial Q^\pi(s,a)}{\partial\theta} = \frac{\partial}{\partial\theta} \left[ R_s^a-\rho(\pi) + \sum_{s'}P^a_{ss'}V^\pi(s') \right]. $$ 由于环境固定，奖励和转移概率不依赖策略参数： $$ \frac{\partial R_s^a}{\partial\theta}=0, $$ $$ \frac{\partial P^a_{ss'}}{\partial\theta}=0. $$ 因此： $$ \frac{\partial Q^\pi(s,a)}{\partial\theta} = \frac{\partial \rho}{\partial\theta} + \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta}. $$ 代入前面的 $V^\pi$ 导数： $$ \frac{\partial V^\pi(s)}{\partial\theta} = \sum_a \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a) + \sum_a \pi(s,a) \left[ \frac{\partial\rho}{\partial\theta} + \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta} \right]. $$ 展开： $$ \frac{\partial V^\pi(s)}{\partial\theta} = \sum_a \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a) - \frac{\partial\rho}{\partial\theta} \sum_a \pi(s,a) + \sum_a \pi(s,a) \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta}. $$ 因为： $$ \sum_a \pi(s,a)=1, $$ 所以： $$ \frac{\partial V^\pi(s)}{\partial\theta} = \sum_a \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a) - \frac{\partial\rho}{\partial\theta} + \sum_a \pi(s,a) \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta}. $$ 把 $\frac{\partial\rho}{\partial\theta}$ 移到左边可得： $$ \frac{\partial\rho}{\partial\theta} = \sum_a \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a) + \sum_a \pi(s,a) \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta} - \frac{\partial V^\pi(s)}{\partial\theta}. $$ 这正是附录中 OCR 混乱的那一行： $$ \frac{\partial \rho}{\partial\theta} = \sum_a \left[ \frac{\partial\pi(s,a)}{\partial\theta}Q^\pi(s,a) + \pi(s,a)\sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta} \right] - \frac{\partial V^\pi(s)}{\partial\theta}. $$ --- # 4. 为什么要对平稳分布 $d^\pi(s)$ 加权求和 上式对任意状态 (s) 成立： $$ \frac{\partial\rho}{\partial\theta} = \sum_a \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a) + \sum_a \pi(s,a) \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta} - \frac{\partial V^\pi(s)}{\partial\theta}. $$ 现在两边乘以 $d^\pi(s)$，再对 $s$ 求和。 左边： $$ \sum_s d^\pi(s) \frac{\partial\rho}{\partial\theta}. $$ 由于 $\frac{\partial\rho}{\partial\theta}$ 不依赖 $s$，并且 $d^\pi$ 是概率分布： $$ \sum_s d^\pi(s)=1, $$ 所以左边为： $$ \frac{\partial\rho}{\partial\theta}. $$ 右边变为三项： $$ \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a) $$ $$ + \sum_s d^\pi(s) \sum_a \pi(s,a) \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta} $$ $$ \sum_s d^\pi(s) \frac{\partial V^\pi(s)}{\partial\theta}. $$ 所以： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a) + T_2 - T_3, $$ 其中： $$ T_2 = \sum_s d^\pi(s) \sum_a \pi(s,a) \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta}, $$ $$ T_3 = \sum_s d^\pi(s) \frac{\partial V^\pi(s)}{\partial\theta}. $$ 证明的关键就在于： $$ T_2=T_3. $$ --- # 5. 平稳性导致两个 $V$ 导数项抵消 先看 $T_2$： $$ T_2 = \sum_s d^\pi(s) \sum_a \pi(s,a) \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta}. $$ 交换求和顺序，把 $s'$ 放到外面： $$ T_2 = \sum_{s'} \left[ \sum_s d^\pi(s) \sum_a \pi(s,a)P^a_{ss'} \right] \frac{\partial V^\pi(s')}{\partial\theta}. $$ 括号中是： $$ \sum_s d^\pi(s) \sum_a \pi(s,a)P^a_{ss'}. $$ 根据平稳分布定义： $$ d^\pi(s') = \sum_s d^\pi(s) \sum_a \pi(s,a)P^a_{ss'}. $$ 因此： $$ T_2 = \sum_{s'}d^\pi(s') \frac{\partial V^\pi(s')}{\partial\theta}. $$ 把哑变量 $s'$ 改名为 $s$： $$ T_2 = \sum_s d^\pi(s) \frac{\partial V^\pi(s)}{\partial\theta}. $$ 这正好等于： $$ T_3. $$ 所以： $$ T_2-T_3=0. $$ 于是剩下： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial \pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 这就完成平均奖励形式的证明。 --- # 6. 平均奖励证明的核心直觉 平均奖励性能可以写成： $$ \rho(\pi) = \sum_s d^\pi(s) \sum_a\pi(s,a)R_s^a. $$ 表面上看，$\rho$ 对 $\theta$ 的导数应该有两类项： $$ \frac{\partial \pi(s,a)}{\partial\theta} $$ 和 $$ \frac{\partial d^\pi(s)}{\partial\theta}. $$ 也就是说，策略参数改变不仅改变当前状态下的动作概率，也改变长期状态访问分布。 但是定理证明表明，状态分布变化的影响可以通过 Bellman 结构和 $Q^\pi$ 吸收；在对平稳分布加权求和时，涉及 $$ \frac{\partial V^\pi(s)}{\partial\theta} $$ 的递归项由于平稳性完全抵消。 所以最终不需要显式出现： $$ \frac{\partial d^\pi(s)}{\partial\theta}. $$ 这就是策略梯度定理最关键的结构。 --- # 7. 起始状态折扣形式的证明 现在解释附录第二部分。 起始状态形式中，目标为： $$ \rho(\pi) = V^\pi(s_0) - \mathbb E_\pi \left[ \sum_{t=0}^{\infty}\gamma^tR_{t+1} \mid S_0=s_0 \right]. $$ 状态价值函数为： $$ V^\pi(s) = \sum_a \pi(s,a)Q^\pi(s,a). $$ 动作价值函数满足折扣 Bellman 方程： $$ Q^\pi(s,a) = R_s^a + \gamma \sum_{s'}P^a_{ss'}V^\pi(s'). $$ 这里没有平均奖励中的 $-\rho(\pi)$，因为折扣因子已经保证未来回报在 $\gamma<1$ 时可收敛。 --- ## 7.1 对 $V^\pi(s)$ 求导 从定义出发： $$ \frac{\partial V^\pi(s)}{\partial\theta} = \frac{\partial}{\partial\theta} \sum_a\pi(s,a)Q^\pi(s,a). $$ 使用乘积法则： $$ \frac{\partial V^\pi(s)}{\partial\theta} = \sum_a \left[ \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a) + \pi(s,a) \frac{\partial Q^\pi(s,a)}{\partial\theta} \right]. $$ 代入折扣 Bellman 方程： $$ Q^\pi(s,a) = R_s^a + \gamma\sum_{s'}P^a_{ss'}V^\pi(s'). $$ 对 $\theta$ 求导： $$ \frac{\partial Q^\pi(s,a)}{\partial\theta} = \frac{\partial}{\partial\theta} \left[ R_s^a + \gamma\sum_{s'}P^a_{ss'}V^\pi(s') \right]. $$ 由于 $R_s^a)$ 和 $P^a_{ss'}$ 不依赖 $\theta$，所以： $$ \frac{\partial Q^\pi(s,a)}{\partial\theta} = \gamma \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta}. $$ 因此： $$ \frac{\partial V^\pi(s)}{\partial\theta} = \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a) + \gamma \sum_a\pi(s,a) \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta}. $$ 这就是附录中的公式 ((7))： $$ \frac{\partial V^\pi(s)}{\partial\theta} = \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a) + \gamma \sum_a\pi(s,a) \sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta}. \tag{7} $$ --- # 8. 把递归式写成更清楚的形式 定义： $$ g(s) = \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 再定义策略诱导转移： $$ P_\pi(s'\mid s) = \sum_a\pi(s,a)P^a_{ss'}. $$ 则公式 ((7)) 可写成： $$ \frac{\partial V^\pi(s)}{\partial\theta} = g(s) + \gamma \sum_{s'}P_\pi(s'\mid s) \frac{\partial V^\pi(s')}{\partial\theta}. $$ 令： $$ h(s) = \frac{\partial V^\pi(s)}{\partial\theta}. $$ 则： $$ h(s) = g(s) + \gamma \sum_{s'}P_\pi(s'\mid s)h(s'). $$ 这是一个 Bellman 型递归方程。 向量形式为： $$ h = g+\gamma P_\pi h. $$ 因此： $$ h = (I-\gamma P_\pi)^{-1}g. $$ 形式展开为 **Neumann 级数**： $$ h = \sum_{k=0}^{\infty} \gamma^kP_\pi^k g, $$ 在 $\gamma<1$ 时该级数收敛；若 $\gamma=1$，通常需要 episodic 终止结构保证展开有意义。 --- # 9. 附录中的 “unrolling” 是什么 附录说： > after several steps of unrolling (7) 意思是把递归式反复代入自身。 从： $$ h(s) = g(s) + \gamma\sum_{s_1}P_\pi(s_1\mid s)h(s_1) $$ 开始，把 $h(s_1)$ 再展开： $$ h(s_1) = g(s_1) + \gamma\sum_{s_2}P_\pi(s_2\mid s_1)h(s_2). $$ 代入： $$ h(s) = g(s) + \gamma\sum_{s_1}P_\pi(s_1\mid s)g(s_1) + \gamma^2\sum_{s_1,s_2} P_\pi(s_1\mid s)P_\pi(s_2\mid s_1)h(s_2). $$ 继续展开： $$ h(s) = g(s) + \gamma\sum_{s_1}P_\pi(s_1\mid s)g(s_1) + \gamma^2\sum_{s_2}P_\pi^2(s_2\mid s)g(s_2) + \cdots. $$ 因此： $$ h(s) = \sum_{k=0}^{\infty} \gamma^k \sum_x P_\pi^k(x\mid s) g(x). $$ 其中： $$ P_\pi^k(x\mid s) = \Pr(s\to x,k,\pi) $$ 表示从状态 $s$ 出发，在策略 $\pi$ 下经过 $k$ 步到达 $x$ 的概率。 所以： # [ $$ \frac{\partial V^\pi(s)}{\partial\theta} = \sum_{k=0}^{\infty} \gamma^k \sum_x \Pr(s\to x,k,\pi) \sum_a \frac{\partial\pi(x,a)}{\partial\theta} Q^\pi(x,a). $$ ] 这正是附录中 OCR 混乱的公式： [ $$ \sum_x \sum_{k=0}^{\infty} \gamma^k \Pr(s\to x,k,\pi) \sum_a \frac{\partial\pi(x,a)}{\partial\theta} Q^\pi(x,a). $$ ] --- # 10. 从 $s=s_0$ 得到目标梯度 起始状态形式的目标为： $$ \rho(\pi)=V^\pi(s_0). $$ 因此： $$ \frac{\partial\rho}{\partial\theta} = \frac{\partial V^\pi(s_0)}{\partial\theta}. $$ 代入刚才的展开式： $$ \frac{\partial\rho}{\partial\theta} = \sum_{k=0}^{\infty} \gamma^k \sum_s \Pr(s_0\to s,k,\pi) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 交换求和顺序： $$ \frac{\partial\rho}{\partial\theta} = \sum_s \left[ \sum_{k=0}^{\infty} \gamma^k \Pr(s_0\to s,k,\pi) \right] \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 定义折扣状态访问权重： $$ d^\pi(s) = \sum_{k=0}^{\infty} \gamma^k \Pr(s_0\to s,k,\pi). $$ 于是得到： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 这就完成起始状态形式的证明。 --- # 11. 起始状态证明的核心直觉 在折扣起始状态形式中，证明不需要平稳分布抵消，而是通过递归展开得到折扣访问分布。 公式： $$ \frac{\partial V^\pi(s)}{\partial\theta} = g(s) + \gamma P_\pi h(s) $$ 说明：从状态 $s$ 出发，策略参数对价值的影响有两部分： 第一，当前状态下动作概率变化直接带来的影响： $$ g(s) = \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 第二，当前策略把过程带到未来状态后，未来状态价值对参数的敏感性： $$ \gamma \sum_{s'}P_\pi(s'\mid s) \frac{\partial V^\pi(s')}{\partial\theta}. $$ 反复展开后，得到所有未来可能访问状态上的 $g(s)$，并按： [ $$ \gamma^k\Pr(s_0\to s,k,\pi) $$ ] 加权。 这些权重正好组成： $$ d^\pi(s) = \sum_{k=0}^{\infty} \gamma^k \Pr(s_0\to s,k,\pi). $$ 所以策略梯度等于所有未来会访问到的状态上的局部策略改变量之和。 --- # 12. 两个证明的结构对比 平均奖励证明： $$ \frac{\partial V(s)}{\partial\theta} $$ 中出现递归项； 乘以平稳分布 $d^\pi(s)$ 并对 $s$ 求和； 利用平稳性： $$ d^\pi=d^\pi P_\pi $$ 使递归项抵消； 得到策略梯度定理。 起始状态证明： $$ \frac{\partial V(s)}{\partial\theta} $$ 中出现递归项； 不使用平稳分布； 直接把递归项展开成无限级数； 级数中的状态访问概率自然形成折扣访问权重； 得到策略梯度定理。 两者的共同核心是： [ $$ \frac{\partial V^\pi(s)}{\partial\theta} $$ ] 的递归结构最终可以化成： [ $$ \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ ] --- # 13. 为什么证明中没有 $\frac{\partial d^\pi}{\partial\theta}$ 这是整个证明最重要的点。 表面上： # [ $$ \rho(\pi) = \sum_s d^\pi(s) \sum_a\pi(s,a)R_s^a. $$ ] 如果直接对 $\theta$ 求导，似乎应该出现： [ $$ \frac{\partial d^\pi(s)}{\partial\theta}. $$ ] 但附录证明没有直接对这个表达式硬求导，而是从 Bellman 方程和 (V^\pi) 的递归关系入手。 平均奖励中，状态分布变化的影响表现为： $$ \sum_a\pi(s,a)\sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta} - \frac{\partial V^\pi(s)}{\partial\theta}. $$ 对平稳分布加权求和后，这两项抵消。 起始状态中，状态分布变化的影响表现为未来状态上的递归项，展开后形成折扣状态访问权重 $d^\pi(s)$。 因此： [ $$ \frac{\partial d^\pi}{\partial\theta} $$ ] 的影响没有消失，而是被 $Q^\pi(s,a)$ 和访问分布 $d^\pi(s)$ 的结构吸收了。 换句话说： [ $$ Q^\pi(s,a) $$ ] 已经包含了当前动作对未来状态分布和未来奖励的全部长期影响，所以最终梯度公式中不需要显式微分状态分布。 --- # 14. 为什么 $R$ 和 $P$ 对 $\theta$ 的导数为零 证明中多次使用： $$ \frac{\partial R_s^a}{\partial\theta}=0, $$ $$ \frac{\partial P^a_{ss'}}{\partial\theta}=0. $$ 原因是：$\theta$ 是策略参数，而不是环境参数。 MDP 的环境动力学固定： $$ P^a_{ss'} $$ 和奖励函数： $$ R_s^a $$ 不随策略参数变化。 策略参数只影响： $$ \pi(s,a) $$ 以及由策略间接诱导的长期访问分布和价值函数。 若考虑模型参数化环境或可学习动力学模型，则这些导数可能不为零，但那不是本文定理的基本设定。 --- # 15. 为什么 $\frac{\partial\rho}{\partial\theta}$ 在平均奖励证明中可以从对 $s$ 的求和中提出 平均奖励： $$ \rho(\pi) $$ 是一个标量，是整个策略的长期平均奖励。它不是某个状态的函数。 因此： $$ \frac{\partial\rho}{\partial\theta} $$ 也不依赖具体状态 (s)。 所以： $$ \sum_s d^\pi(s) \frac{\partial\rho}{\partial\theta} = \frac{\partial\rho}{\partial\theta} \sum_s d^\pi(s). $$ 由于 $d^\pi$ 是概率分布： $$ \sum_s d^\pi(s)=1, $$ 因此： $$ \sum_s d^\pi(s) \frac{\partial\rho}{\partial\theta} = \frac{\partial\rho}{\partial\theta}. $$ --- # 16. 为什么起始状态形式中 $d^\pi(s)$ 不是平稳分布 起始状态形式中定义： $$ d^\pi(s) = \sum_{k=0}^{\infty} \gamma^k \Pr(s_0\to s,k,\pi). $$ 它是从 $s_0$ 出发后，状态 $s$ 的折扣累计访问权重。 它通常不满足： $$ d^\pi=d^\pi P_\pi. $$ 它也通常不是概率分布，因为： $$ \sum_s d^\pi(s) = \sum_s \sum_{k=0}^{\infty} \gamma^k \Pr(S_k=s\mid S_0=s_0,\pi). $$ 交换求和： $$ \sum_{k=0}^{\infty} \gamma^k \sum_s \Pr(S_k=s\mid S_0=s_0,\pi). $$ 由于： $$ \sum_s \Pr(S_k=s\mid S_0=s_0,\pi)=1, $$ 所以： $$ \sum_s d^\pi(s) = \sum_{k=0}^{\infty}\gamma^k = \frac{1}{1-\gamma}, \qquad \gamma<1. $$ 因此它不是归一化概率分布，而是 occupancy measure。 若要归一化，可以定义： $$ \bar d^\pi(s) = (1-\gamma)d^\pi(s). $$ --- # 17. 两个证明中的 $d^\pi(s)$ 为什么用同一个符号 论文为了统一写法，把两种情形下的状态权重都记作： $$ d^\pi(s). $$ 但含义不同： 平均奖励形式： $$ d^\pi(s) = \lim_{t\to\infty}\Pr(S_t=s\mid \pi) $$ 是平稳状态分布。 起始状态折扣形式： $$ d^\pi(s) = \sum_{k=0}^{\infty} \gamma^k \Pr(S_k=s\mid S_0=s_0,\pi) $$ 是折扣访问权重。 二者统一承担同一个角色： $$ \text{衡量状态 }s\text{ 对策略性能梯度的重要程度。} $$ 频繁访问或折扣权重大的状态，对梯度贡献更大；几乎不被访问的状态，对当前性能梯度贡献很小。 --- # 18. 与 REINFORCE 形式的关系 由策略梯度定理： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 使用恒等式： $$ \frac{\partial\pi(s,a)}{\partial\theta} = \pi(s,a) \frac{\partial\log\pi(s,a)}{\partial\theta}, $$ 得到： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \pi(s,a) \frac{\partial\log\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ 写成期望： $$ \frac{\partial\rho}{\partial\theta} = \mathbb E_{S\sim d^\pi,A\sim\pi} \left[ \nabla_\theta\log\pi(A\mid S) Q^\pi(S,A) \right]. $$ 这就是 REINFORCE 和 actor-critic 更新的理论基础。 如果用实际回报 $G_t$ 作为 $Q^\pi(S_t,A_t)$ 的无偏估计： $$ G_t \approx Q^\pi(S_t,A_t), $$ 就得到 REINFORCE 型更新： $$ \Delta\theta_t \propto \nabla_\theta\log\pi_\theta(A_t\mid S_t)G_t. $$ 论文正文也指出，Williams 的 REINFORCE 理论可以看作蕴含该策略梯度表达式。 ([NeurIPS Papers](https://papers.neurips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf?utm_source=chatgpt.com "Policy Gradient Methods for Reinforcement Learning with ...")) --- # 19. 附录证明的核心总结 整个附录证明可以压缩为如下结构。 平均奖励形式： $$ V^\pi(s)=\sum_a\pi(s,a)Q^\pi(s,a) $$ $$ Q^\pi(s,a)=R_s^a-\rho+\sum_{s'}P^a_{ss'}V^\pi(s') $$ 求导并整理： $$ \frac{\partial\rho}{\partial\theta} = \sum_a \frac{\partial\pi(s,a)}{\partial\theta}Q^\pi(s,a) + \sum_a\pi(s,a)\sum_{s'}P^a_{ss'} \frac{\partial V^\pi(s')}{\partial\theta} - \frac{\partial V^\pi(s)}{\partial\theta}. $$ 乘以 $d^\pi(s)$ 并对 $s$ 求和，用平稳性抵消后两项，得到： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta}Q^\pi(s,a). $$ 起始状态形式： $$ V^\pi(s)=\sum_a\pi(s,a)Q^\pi(s,a) $$ $$ Q^\pi(s,a)=R_s^a+\gamma\sum_{s'}P^a_{ss'}V^\pi(s') $$ 求导： $$ \frac{\partial V^\pi(s)}{\partial\theta} = g(s)+\gamma P_\pi h(s). $$ 展开递归： $$ \frac{\partial V^\pi(s_0)}{\partial\theta} = \sum_{k=0}^{\infty} \gamma^k \sum_s \Pr(s_0\to s,k,\pi) g(s). $$ 定义： $$ d^\pi(s) = \sum_{k=0}^{\infty} \gamma^k \Pr(s_0\to s,k,\pi), $$ 得到： $$ \frac{\partial\rho}{\partial\theta} = \sum_s d^\pi(s) \sum_a \frac{\partial\pi(s,a)}{\partial\theta} Q^\pi(s,a). $$ --- # 20. 最关键的理解 策略梯度定理不是在说状态分布 $d^\pi(s)$ 不依赖策略。事实上： $$ d^\pi(s) $$ 当然依赖 $\pi$，而 $\pi$ 又依赖 $\theta$。 真正的结论是： $$ \nabla_\theta d^\pi(s) $$ 不需要显式出现在最终公式中。 原因是当前动作对未来状态分布的影响，已经通过动作价值函数： $$ Q^\pi(s,a) $$ 编码了进去。 因此最终得到非常简洁的策略梯度形式： $$ \boxed{ \nabla_\theta\rho(\pi_\theta) = \sum_s d^\pi(s) \sum_a \nabla_\theta\pi_\theta(a\mid s) Q^\pi(s,a) } $$ 或等价地： $$ \boxed{ \nabla_\theta\rho(\pi_\theta) = \mathbb E_{S\sim d^\pi,A\sim\pi_\theta} \left[ \nabla_\theta\log\pi_\theta(A\mid S) Q^\pi(S,A) \right]. } $$ 这正是后续 REINFORCE、actor-critic、TRPO、PPO 等策略梯度方法的基础结构。