下面只解释两个问题： 1. **为什么 REINFORCE 的梯度估计方差高** 2. **为什么 actor-critic 会引入估计偏差** 我会尽量从**估计量本身的形式**和**误差来源**来说明。 ------ # 1. REINFORCE 为什么高方差 ## 1.1 REINFORCE 的基本估计式 设随机策略为 $$ (\pi_\theta(a\mid s)) $$ ，目标函数为 $$ J(\theta)=\mathbb{E}*{\tau\sim \pi*\theta}[R(\tau)]. $$ # REINFORCE 使用的梯度估计是 $$ \nabla_\theta J(\theta) \mathbb{E}\Bigg[ \sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t), G_t \Bigg], 其中 (G_t) 是从时刻 (t) 开始的回报，例如 G_t=\sum_{k=t}^{T}\gamma^{k-t}r_k. $$ # 单条轨迹上的样本估计量为 $$ [ \hat g \sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t), G_t. ] $$ REINFORCE 的关键性质是： 它直接用**采样回报 ** $$ (G_t) 乘上 score function $$ $$ \nabla_\theta \log \pi_\theta(a_t\mid s_t) $$ 来构造梯度估计。 ------ ## 1.2 “高方差”具体指什么 这里说方差高，是指样本梯度估计量 (\hat g) 在不同轨迹之间波动大，即 $$ \mathrm{Var}(\hat g) $$ 较大。 方差大带来的后果是： - 同样的参数点，重复采样得到的梯度方向差异较大； - 需要更多样本才能把真实梯度从噪声中分离出来； - 参数更新更不稳定。 ------ ## 1.3 REINFORCE 高方差的机制来源 ### 机制 1：($G_t$) 是完整回报，包含大量无关随机性 REINFORCE 用的是从 (t) 开始到终止时刻的总回报 $G_t$。 但 $a_t$对 $G_t$的影响通常只是一部分，($G_t$) 还包含很多其他来源的随机性，例如： - 后续动作采样噪声； - 环境状态转移噪声； - 很长时间之后的奖励波动； - 其他时间步决策的影响。 因此，($G_t$) 往往不是“动作 ($a_t$) 的纯净贡献”，而是一个混合信号。 于是估计式 $$ \nabla_\theta \log \pi_\theta(a_t\mid s_t), G_t $$ 会把大量与当前动作弱相关、甚至近似无关的波动也带进梯度估计中。 这会直接增大方差。 ------ ### 机制 2：时间跨度越长，累计噪声越多 由于 $$ G_t=\sum_{k=t}^{T}\gamma^{k-t}r_k, $$ 当轨迹较长时，($G_t$) 会累积很多未来奖励项。 即使早期动作对最终回报确实有影响，这个影响也会被中间大量随机因素稀释。 因此会出现下面的情况： - 梯度权重用的是整个未来回报； - 但未来回报里有很大一部分并不由当前动作决定； - 因而估计量噪声随时间跨度增加而增大。 这也是长时序任务中 REINFORCE 特别容易出现高方差的原因之一。 ------ ### 机制 3：稀疏奖励会放大方差问题 如果奖励是稀疏的，例如只有任务结束时才给 0/1 奖励，那么大量样本的 ($G_t$) 可能几乎都相同，只有极少数样本出现非零差异。 这时梯度估计会呈现两种问题： - 大多数样本提供的信息量很低； - 少数有奖励的样本又会产生很大的更新幅度。 这会导致样本之间差异进一步增大，方差上升。 ------ ### 机制 4：多智能体中，回报对他人动作也敏感 在多智能体场景中，一个智能体 (i) 的回报通常依赖联合动作 $$ r_i = r_i(s,a_1,\dots,a_N). $$ 如果智能体 (i) 的梯度估计只写成 $$ \nabla_{\theta_i}\log \pi_{\theta_i}(a_i\mid o_i), G_i, $$ 那么 ($G_i$) 中不仅包含自身动作影响，还包含其他智能体动作带来的波动。 这意味着： - 在“固定自身动作”的条件下， - 回报仍会因为其他智能体动作不同而显著变化。 于是条件方差变大，策略梯度估计的波动更大。 这正是多智能体 REINFORCE 更难训练的主要原因之一。 ------ ## 1.4 为什么说 REINFORCE“无偏但高方差” REINFORCE 的经典性质是： $$ \mathbb{E}[\hat g] = \nabla_\theta J(\theta). $$ 也就是说，从期望上看，它的梯度方向是正确的，所以称为**无偏估计**。 但“无偏”只说明均值正确，不说明样本波动小。 完全可能出现： - 期望正确； - 但单个样本偏离很大； - 因而训练效率低。 REINFORCE 就属于这一类： **偏差小，方差大。** ------ ## 1.5 baseline 为什么能降方差 # 常见做法是把估计式改成 $$ \hat g \sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t), \big(G_t-b(s_t)\big). $$ 只要 ($b(s_t)$) 与动作 ($a_t$) 无关，这个变换不改变期望，因此仍无偏。 但如果 ($b(s_t)$) 能近似当前状态下的平均回报，那么 $$ G_t-b(s_t) $$ 就表示“比平均水平高多少”，从而去掉一部分公共波动，降低方差。 这就是 value baseline 和 advantage 的基本动机。 ------ # 2. actor-critic 为什么有估计偏差 ## 2.1 actor-critic 的基本形式 actor-critic 用一个参数化 critic 来近似 $$ (Q^\pi(s,a)) 或 (V^\pi(s)) $$ 。 例如把 REINFORCE 中的 ($G_t$) 换成 critic 输出： $$ \hat g \sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t), \hat Q_w(s_t,a_t), $$ 或者更常见地使用 advantage： $$ \hat g \sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t), \hat A_w(s_t,a_t). $$ 其中 (w) 是 critic 参数。 ------ ## 2.2 偏差来自什么 理想情况下，若 $$ \hat Q_w(s,a)=Q^\pi(s,a), $$ 则这个 actor-critic 梯度估计与理论策略梯度一致。 但实际训练中，critic 是通过有限样本、有限模型容量、有限优化步数得到的近似量，因此一般有 $$ \hat Q_w(s,a)\neq Q^\pi(s,a). $$ 设误差为 $$ \varepsilon(s,a)=\hat Q_w(s,a)-Q^\pi(s,a). $$ # 代入梯度估计式： $$ \hat g \sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t), \big(Q^\pi(s_t,a_t)+\varepsilon(s_t,a_t)\big). $$ # 取期望后： $$ \mathbb{E}[\hat g] \nabla_\theta J(\theta) + \mathbb{E}\Big[\sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t),\varepsilon(s_t,a_t)\Big]. $$ 第二项一般不为 0。 这就是**估计偏差**的来源。 也就是说，actor-critic 的偏差本质上来自： > 用一个近似 critic 替代真实 > $$ > Q^\pi > $$ > 后，梯度权重被系统性扰动。 ------ ## 2.3 为什么用 critic 会带来偏差但降低方差 actor-critic 的核心取舍是： - 不再直接使用高噪声的 Monte Carlo 回报 ($G_t$)； - 改用一个学习得到的、波动更小的函数近似 ($\hat Q_w$) 或 ($\hat A_w$)。 这样做的结果通常是： - 方差下降，因为 critic 输出比完整回报更稳定； - 偏差上升，因为 critic 不是真值。 所以 actor-critic 的典型特征是： > **用可控偏差换取显著的方差下降。** 这是强化学习中常见的 bias-variance tradeoff。 ------ ## 2.4 TD critic 为什么更容易引入偏差 很多 actor-critic 用 TD 方法训练 critic，例如： $$ \delta_t = r_t + \gamma \hat V_w(s_{t+1}) - \hat V_w(s_t). $$ TD 的优点是： - 不需要等完整轨迹结束； - 样本效率较高； - 方差通常低于纯 Monte Carlo。 但 TD 使用了 bootstrap，即用当前估计去构造目标： $$ \text{target} = r_t + \gamma \hat V_w(s_{t+1}). $$ 这意味着 critic 的训练目标本身就依赖另一个近似值。 于是会产生两类偏差来源： ### （1）bootstrap bias 目标值不是精确真值，而是“奖励 + 近似未来价值”，因此会把已有误差传播到新的更新中。 ### （2）function approximation bias 若神经网络容量有限，或者优化未收敛，则 $$ \hat V_w,\hat Q_w $$ 只能逼近真值的一部分。 因此，用 TD 训练的 critic 通常比纯 Monte Carlo critic 更低方差，但更容易引入偏差。 ------ ## 2.5 多智能体中 critic 的偏差来源还会增加 在多智能体场景中，critic 若没有显式建模其他智能体动作或策略，就会出现额外偏差。 因为真实回报结构通常依赖 $$ Q_i^\pi(s,a_1,\dots,a_N), $$ 但若 critic 只近似成 $$ \hat Q_i(o_i,a_i) $$ 则它实际是在把其他智能体行为边缘化或忽略。 这会造成： - critic 输入信息不足； - 不同联合动作导致的回报差异被混合； - 近似目标本身发生结构性错配。 于是 actor 更新时使用的权重不只是“数值上不精确”，而是“条件变量不完整”，偏差会更明显。 这也是多智能体 actor-critic 需要 centralized critic 的原因之一： 通过在训练时加入其他智能体动作或策略信息，减少 critic 的结构性误差。 ------ # 3. 两者的本质区别 可以把 REINFORCE 和 actor-critic 的区别概括为： ## REINFORCE 使用 $$ G_t $$ 作为 $$ Q^\pi $$ 的无偏样本替代。 结果是： - 期望上正确； - 样本波动大； - 方差高。 ## actor-critic 使用 $$ \hat Q_w(s,a)\ \text{或}\ \hat A_w(s,a) $$ 作为 $$ Q^\pi $$ 的近似替代。 结果是： - 样本波动通常更小； - 但只要 critic 不精确，就会产生偏差。 ------ # 4. 一句话总结 **REINFORCE 的高方差**来自：它直接用完整采样回报作为梯度权重，这个回报包含大量与当前动作弱相关的随机波动。 **actor-critic 的估计偏差**来自：它用一个学习得到的 critic 去替代真实价值函数，而 critic 的近似误差会直接传递到策略梯度估计中。 ------ # 5. 如果写成最简公式对照 ## REINFORCE $$ \hat g_{\text{RF}}= \sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t), G_t $$ - $$ G_t $$ 是无偏目标 - 但噪声大，因此方差高 ## actor-critic $$ \hat g_{\text{AC}}= \sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t), \hat Q_w(s_t,a_t) $$ - $$ \hat Q_w $$ 更平滑，方差通常更低 - 但若 $$ \hat Q_w\neq Q^\pi $$ 则会引入偏差