# 外推误差（extrapolation error）的严格解释

在离策略深度强化学习中，**外推误差**指的是：价值函数 $Q_\theta(s,a)$对数据集中很少出现、甚至从未出现过的状态—动作对 $(s,a)$给出不可靠估计，进而把这些不可靠估计通过 Bellman 更新和策略改进传播、放大。Fujimoto 等人在 BCQ 论文中将其定义为：当前策略诱导的状态—动作访问分布与 batch 数据分布不匹配时产生的离策略价值学习误差；未见过的状态—动作对可能被错误估计为不现实的值。([Proceedings of Machine Learning Research](https://proceedings.mlr.press/v97/fujimoto19a/fujimoto19a.pdf "Off-Policy Deep Reinforcement Learning without Exploration"))

---

## 最基本定义

设离线数据集或 replay buffer 为：


$$
\mathcal D=\{(s_i,a_i,r_i,s'_i)\}_{i=1}^N
$$


数据由行为策略 $\mu$产生，而当前正在学习或评估的策略为 $\pi$。行为策略对应的数据分布近似为：


$$
d^\mu(s,a)
$$


当前策略对应的状态—动作访问分布为：


$$
d^\pi(s,a)  
$$


如果存在某些 $(s,a)$，满足：


$$
d^\pi(s,a)>0  
$$


但：


$$
d^\mu(s,a)\approx 0  
$$


也就是当前策略会访问这些状态—动作对，但数据集中几乎没有这些样本，那么 (Q_\theta(s,a)) 对这些点的估计只能依赖神经网络的函数外推。

外推误差可以写成：


$$
\epsilon_{\text{ext}}(s,a)
=
Q_\theta(s,a)-Q^\pi(s,a)  
$$


其中关键不是普通的函数近似误差，而是：$(s,a)$位于数据支持之外或数据支持边缘，因此真实值 $Q^\pi(s,a)$没有足够样本约束，$Q_\theta(s,a)$可能任意偏高或偏低。

---

## 为什么叫“外推”？

监督学习中，如果训练数据只覆盖某个区域，例如：


$$
x \in [-1,1]  
$$


但模型被要求预测：


$$
x=10  
$$


**这个预测就是外推。由于没有训练样本约束 $x=10$附近的函数形状，因此模型输出可能非常不可靠。**

强化学习中的外推更危险，因为 critic 不是单纯被动预测，而会被策略主动利用。对于 actor-critic，策略更新通常类似：


$$
\max_\pi \mathbb{E}_{s\sim \mathcal D}  
[  
Q_\theta(s,\pi(s))  
]  
$$


也就是说，actor 会寻找让 $Q_\theta(s,a)$最大的动作。如果 $Q_\theta$在数据外动作上错误地给出很高值，那么 actor 会主动选择这些动作。

这形成一个典型问题：


$$
\text{数据外动作}  
\rightarrow  
\text{错误高 }Q  
\rightarrow  
\text{actor 偏向这些动作}  
\rightarrow  
\text{Bellman target 使用这些动作}  
\rightarrow  
\text{错误进一步传播}  
$$


Fujimoto 等人指出，标准 off-policy 深度 RL 算法如 DQN、DDPG 在固定 batch setting 中会因为外推误差而失效，尤其当数据分布与当前策略分布不相关时更明显。([arXiv](https://arxiv.org/abs/1812.02900?utm_source=chatgpt.com "Off-Policy Deep Reinforcement Learning without Exploration"))

---

## 3. 外推误差如何进入 Bellman 更新？

以 deterministic actor-critic 为例，critic 的 Bellman target 通常为：
$$
y
=
r+\gamma Q_{\bar\theta}(s',\pi_{\bar\phi}(s'))  
$$
critic 训练目标是：
$$
\min_\theta  
\mathbb{E}_{(s,a,r,s')\sim \mathcal D}  
[  
(Q_\theta(s,a)-y)^2  
]  
$$
注意：当前样本中的 $(s,a)$来自数据集 $\mathcal D$，但是 target 中的动作：
$$
a'=\pi_{\bar\phi}(s')  
$$
不一定来自数据集。即使 $s'$出现在数据中，$\pi_{\bar\phi}(s')$也可能是数据中很少出现的动作。因此：
$$
Q_{\bar\theta}(s',\pi_{\bar\phi}(s'))  
$$
可能是对数据外状态—动作对的估计。

如果：
$$
(s',\pi_{\bar\phi}(s')) \notin \operatorname{supp}(\mathcal D)  
$$
那么：
$$
Q_{\bar\theta}(s',\pi_{\bar\phi}(s'))  
$$
可能非常不准。这个不准的值又进入 Bellman target：
$$
y = r+\gamma Q_{\bar\theta}(s',\pi_{\bar\phi}(s'))  
$$
于是即使当前更新的 $(s,a)$是数据集里的样本，target 也已经被数据外估计污染。BCQ 论文明确指出，当 target policy 在下一状态选择陌生动作，且对应 $(s',a')$不太可能出现在数据集中时，当前 value estimate 会受到外推误差影响。([Proceedings of Machine Learning Research](https://proceedings.mlr.press/v97/fujimoto19a/fujimoto19a.pdf "Off-Policy Deep Reinforcement Learning without Exploration"))

---

##  外推误差与普通近似误差的区别

普通函数近似误差是：
$$
Q_\theta(s,a)  
\neq  
Q^\pi(s,a)
$$
只要神经网络容量有限、优化不充分、样本有限，就会有近似误差。

外推误差更具体，强调误差来源于 **分布外输入**：
$$
(s,a) \notin \operatorname{supp}(\mathcal D)  
$$
或者：
$$
\mathcal D \text{ 在 } (s,a) \text{ 附近覆盖不足}
$$
因此二者关系可以理解为：
$$
\text{外推误差}  
\subset  
\text{函数近似误差在分布外区域的特殊形式}  
$$
**但强化学习中，外推误差的危害远大于普通预测误差，因为它会被 Bellman backup 和策略最大化反复放大。**


在强化学习中，你前一个问题中提到的**贝尔曼方程**（Bellman Equation）描述了价值函数必须满足的理论**等式（Identity）**。而**贝尔曼回溯**（Bellman Backup）则是将这一静态等式转化为动态算法操作（Algorithmic Operation）的具体过程。

“回溯（Backup）”一词形象地描述了信息的流动方向：**状态 $s$ 的价值，是通过“回溯（拉回）”其后续状态 $s'$ 的价值以及即时奖励 $r$ 来更新的**。在图模型或备份图（Backup Diagram）中，信息沿着时间箭头逆向传播。

以下是关于贝尔曼回溯的严格数学定义与算法分类。

### 数学抽象：贝尔曼算子 (Bellman Operators)

要严谨地定义贝尔曼回溯，最精确的工具是**算子理论**。

我们将所有可能的状态价值函数构成一个向量空间 $\mathcal{V} \subset \mathbb{R}^{|\mathcal{S}|}$。贝尔曼回溯本质上是对当前价值函数向量 $v \in \mathcal{V}$ 应用一个映射算子 $\mathcal{T}$，生成一个新的价值函数向量 $v'$ 的过程。

**一次贝尔曼回溯 (One Bellman Backup)** 的数学表达为：

$$v_{k+1} \leftarrow \mathcal{T} v_k$$

根据目标的不同，存在两种核心的算子（对应两种回溯）：

#### 1. 贝尔曼期望回溯 (Bellman Expectation Backup)

用于**策略评估（Policy Evaluation）**。其对应的算子为 $\mathcal{T}^\pi: \mathcal{V} \to \mathcal{V}$，定义为：

$$(\mathcal{T}^\pi v)(s) \doteq \sum_{a \in \mathcal{A}} \pi(a|s) \sum_{s', r} p(s', r \mid s, a) [r + \gamma v(s')]$$

这一步操作强行要求当前状态的价值等于未来的期望价值。

#### 2. 贝尔曼最优回溯 (Bellman Optimality Backup)

用于**价值迭代（Value Iteration）**，直接寻找最优价值。其对应的算子为 $\mathcal{T}^*: \mathcal{V} \to \mathcal{V}$，定义为：

$$(\mathcal{T}^* v)(s) \doteq \max_{a \in \mathcal{A}} \sum_{s', r} p(s', r \mid s, a) [r + \gamma v(s')]$$

这一步操作假设在当前状态执行最优动作，并以此回溯价值。

### 回溯的实现分类：全期望与采样

在实际算法中，由于环境模型 $p(s',r|s,a)$ 的已知与否，贝尔曼回溯在执行时分为两种截然不同的形态：

#### 1. 期望回溯 / 全回溯 (Expected / Full Backup)

- **适用场景：** 基于模型的动态规划（Dynamic Programming）。环境动力学 $p$ 完全已知。
  
- **操作方式：** 针对给定的状态 $s$，算法必须**展开所有可能的动作分支以及所有可能的下一状态转移分支**，计算其加权期望（或取最大值）。
  
- **计算复杂度：** $\mathcal{O}(|\mathcal{A}| |\mathcal{S}|)$ 单次状态更新。这就是为什么面对高维或连续状态空间时，DP 会遭遇“维度灾难（Curse of Dimensionality）”。
  

#### 2. 采样回溯 (Sample Backup)

- **适用场景：** 无模型强化学习（Model-Free RL），如蒙特卡洛（MC）和时序差分（TD）。环境动力学未知，或状态空间过大无法遍历。
  
- **操作方式：** 不展开所有概率分支，而是让智能体在环境中实际执行（或从 Replay Buffer 中采样），获得一条具体的转移经验数据 $(S_t, A_t, R_{t+1}, S_{t+1})$。然后仅沿着这条**单一的采样轨迹**进行价值的“拉回”。
  
- **例如 Q-Learning 的采样最优回溯：**
  
    $$Q(S_t, A_t) \leftarrow Q(S_t, A_t) + \alpha \Big[ \underbrace{R_{t+1} + \gamma \max_{a'} Q(S_{t+1}, a')}_{\text{Sample Backup Target}} - Q(S_t, A_t) \Big]$$
    
    采样回溯用经验样本代替了复杂的概率求和期望，虽然引入了方差，但打破了对已知环境模型的依赖，使得在大规模连续空间（如多智能体、机器人控制）中结合深度学习成为可能。
    

###  回溯深度的扩展 (Multi-step Backups)

标准的贝尔曼回溯是**单步回溯（1-step backup）**，即只看未来一步 $s'$，然后立刻利用现有的 $v(s')$ 进行自举（Bootstrapping）。我们也可以将其推广到任意深度：

1. **$n$ 步回溯 $n$-step Backup):**
   
    收集真实的 $n$ 步奖励，然后用第 $n+1$ 步的状态价值进行自举。
    
    目标：$G_{t:t+n} = R_{t+1} + \gamma R_{t+2} + \dots + \gamma^{n-1} R_{t+n} + \gamma^n V(S_{t+n})$
    
2. **$\lambda$-回溯 $\lambda$-Backup):**
   
    著名的 $\text{TD}(\lambda)$ 算法的核心。它是所有 $n$ 步回溯（从 $n=1$ 到 $n=\infty$）的指数加权平均，权重为 $(1-\lambda)\lambda^{n-1}$。这在偏差（Bias，单步回溯大）和方差（Variance，无限步回溯大）之间提供了严谨的数学权衡机制。
    

###  理论收敛保证：压缩映射

为什么反复执行贝尔曼回溯 $v_{k+1} \leftarrow \mathcal{T} v_k$ 最终能找到正确的价值函数？这有着极其严密的泛函分析支撑。

在配备了无穷范数（极大值范数） $\|v\|_\infty = \max_s |v(s)|$ 的度量空间中，可以证明无论是 $\mathcal{T}^\pi$ 还是 $\mathcal{T}^*$，都是一个$\gamma$-压缩映射 $\gamma$-Contraction Mapping)。

对于任意两个价值函数 $u, v \in \mathcal{V}$，应用一次回溯后，它们之间的最大差距必定缩小 $\gamma$ 倍（$\gamma < 1$ 是折扣因子）：

$$\| \mathcal{T}u - \mathcal{T}v \|_\infty \le \gamma \| u - v \|_\infty$$

根据**巴拿赫不动点定理 (Banach Fixed-Point Theorem)**，既然回溯算子是压缩映射，那么：

1. 存在**唯一的不动点**（即真实的 $v_\pi$ 或最优的 $v_*$）。
   
2. 无论从什么初始价值猜测 $v_0$ 开始，无限次反复应用回溯操作 $\lim_{k \to \infty} \mathcal{T}^k v_0$，必然绝对收敛到该唯一不动点。
   

这也是所有基于价值（Value-based）的强化学习算法能够在数学上站得住脚的根本原因。

---

## 5. 外推误差与过估计偏差的关系

外推误差本身不一定总是正偏。也就是说，数据外动作的 (Q) 估计可能过高，也可能过低：
$$
Q_\theta(s,a)-Q^\pi(s,a)>0  
$$
或：

$$
Q_\theta(s,a)-Q^\pi(s,a)<0  
$$
**但强化学习中的策略改进通常包含最大化操作：**


$$
a^\star=\arg\max_a Q_\theta(s,a)  
$$


**最大化操作会倾向于选择那些被高估的动作，而不是被低估的动作。** 因此，即使外推误差本身是零均值噪声，经过最大化后也会形成系统性的过估计偏差：


$$
\max_a \left(Q^\pi(s,a)+\epsilon(s,a)\right)  
$$

通常会大于：


$$
\max_a Q^\pi(s,a)  
$$


BCQ 论文也指出，外推误差不必然是正偏，但与强化学习中的 maximization 结合后，会成为持续过估计偏差的来源。([Proceedings of Machine Learning Research](https://proceedings.mlr.press/v97/fujimoto19a/fujimoto19a.pdf "Off-Policy Deep Reinforcement Learning without Exploration"))

---

## 6. 为什么离线 RL 中外推误差特别严重？

离线 RL 中，数据集固定：

$$
\mathcal D \text{ fixed}  
$$
算法不能继续与环境交互。因此，如果 actor 选择了数据外动作：


$$
a=\pi(s)  
$$

并且 critic 错误地认为该动作价值很高，**那么系统没有机会通过真实环境反馈修正这个错误。**

在线 RL 中，如果策略选择了陌生动作，环境会返回真实 transition 和 reward：

$$
(s,a)\rightarrow(r,s')  
$$


这些新数据会进入 replay buffer，从而逐渐修正 $Q$估计。

但离线 RL 中没有这个修正机制。BCQ 论文指出，在 batch setting 中，外推误差不会被纠正，因为无法收集新数据；因此外推误差对离线 RL 特别有害。([Proceedings of Machine Learning Research](https://proceedings.mlr.press/v97/fujimoto19a/fujimoto19a.pdf "Off-Policy Deep Reinforcement Learning without Exploration"))

---

## 7. 一个简单例子

假设某状态 $s$下，数据集中只出现过两个动作：
$$
a_1,\ a_2  
$$
真实价值为：
$$
Q^\pi(s,a_1)=5  
$$
$$
Q^\pi(s,a_2)=6  
$$
但动作空间是连续的，actor 可以输出任意动作。假设某个未见动作 $a_3$从未出现在数据中：
$$
(s,a_3)\notin \mathcal D  
$$
由于神经网络外推，critic 可能错误估计：
$$
Q_\theta(s,a_3)=100  
$$
那么策略更新会选择：
$$
\pi(s)=a_3  
$$
因为 actor 只看到：
$$
100 > 6 > 5  
$$
但真实情况可能是：
$$
Q^\pi(s,a_3)=-10  
$$
于是策略会朝错误方向更新。更糟糕的是，Bellman target 也会用 $Q(s',\pi(s'))$，从而把类似的错误估计继续传播到前面的状态—动作对。
这就是外推误差的核心危险：**错误不是局部停留在一个数据外点，而会通过动态规划递归传播。**

---

## 8. 与 TD3 的关系

TD3 已经意识到 actor-critic 中的过估计问题，因此使用了 clipped double Q-learning：
$$
y
=
r+\gamma  
\min_{i=1,2}  
Q_{\bar\theta_i}(s',\tilde a')  
$$
取两个 critic 的较小值可以缓解过估计。TD3 还使用 target policy smoothing 和 delayed policy update 来降低 actor 过度利用 critic 错误的风险。Spinning Up 对 TD3 的说明也强调，TD3 的三个关键技巧正是双 Q、延迟策略更新和目标策略平滑。([arXiv](https://arxiv.org/abs/1812.02900?utm_source=chatgpt.com "Off-Policy Deep Reinforcement Learning without Exploration"))

但是，TD3 并不能完全消除外推误差。原因是：
$$
\min(Q_1,Q_2)  
$$
只能降低两个 critic 同时过估计的概率，并不能保证数据外区域的 $Q$估计可靠。如果两个 critic 在某个数据外动作上都高估，那么 clipped double Q 仍然可能出错。

因此，TD3 缓解的是一部分估计偏差，而不是从根本上解决数据支持不足的问题。

---

## 9. 与 BCQ 的关系

BCQ 的思路是：既然数据外动作的 $Q$不可靠，那么策略就不应该自由选择任意动作，而应该被约束在数据分布附近。

也就是说，BCQ 希望：
$$
\pi(s) \approx a,\quad (s,a)\in\mathcal D  
$$
BCQ 使用状态条件生成模型产生类似数据集中出现过的动作，然后在这些候选动作中用 Q 函数选择价值较高者。Fujimoto 等人将这种思想称为 batch-constrained reinforcement learning，即最大化奖励的同时，减少当前策略状态—动作访问分布与 batch 数据中状态—动作对之间的不匹配。([Proceedings of Machine Learning Research](https://proceedings.mlr.press/v97/fujimoto19a/fujimoto19a.pdf "Off-Policy Deep Reinforcement Learning without Exploration"))

其核心约束可以概括为：
$$
\pi \in \Pi_{\mathcal D}  
$$
其中 $\Pi_{\mathcal D}$表示“不会明显偏离数据支持”的策略类。

这也是很多离线 RL 方法的共同思想：**不要盲目相信数据外动作上的 (Q) 估计。**

---

## 10. 与 TD7 / SALE 的关系

TD7 中的 SALE 使用状态—动作嵌入：
$$
z_s=f(s)  
$$
$$
z_{sa}=g(z_s,a)  
$$
critic 的输入因此包含更丰富的状态—动作表征。这有助于建模状态和动作之间的复杂交互，但也带来一个新风险：动作相关输入维度被显著扩大。

TD7 论文指出，SALE 中的状态—动作嵌入会扩展 action-dependent input，使价值函数更可能在未知动作上过度外推。例如 Ant 环境原始动作维度是 8，但状态—动作嵌入 $z_{sa}$的维度可以是 256；未见动作在高维动作相关表示中可能显得离已见动作更远，从而加剧外推误差。([ResearchGate](https://www.researchgate.net/publication/371311493_For_SALE_State-Action_Representation_Learning_for_Deep_Reinforcement_Learning?utm_source=chatgpt.com "For SALE: State-Action Representation Learning for Deep ..."))

TD7 的处理方式是 value clipping。其思想是：在线 RL 中，外推误差最终可以通过环境反馈修正，因此只需要在修正发生前稳定价值估计。TD7 会跟踪数据集中估计 $Q$值的范围，并将 target 中的 $Q$值裁剪到这个范围内。论文给出的形式为：
$$
Q_{t+1}(s,a)  
\approx  
r+  
\gamma  
\operatorname{clip}  
\left(  
Q_t(s',a'),  
\min_{(s,a)\in\mathcal D}Q_t(s,a),  
\max_{(s,a)\in\mathcal D}Q_t(s,a)  
\right)  
$$
其目的不是让 $Q$永远保守，而是避免状态—动作表征扩展后，未知动作产生极端不现实的 value target。([ResearchGate](https://www.researchgate.net/publication/371311493_For_SALE_State-Action_Representation_Learning_for_Deep_Reinforcement_Learning?utm_source=chatgpt.com "For SALE: State-Action Representation Learning for Deep ..."))

---

## 11. 为什么高维状态—动作表征会加剧外推？

假设原始动作维度为：
$$
a\in\mathbb R^8  
$$
SALE 后，动作相关嵌入变成：
$$
z_{sa}\in\mathbb R^{256}  
$$
表面上，信息更丰富；但问题是，数据对这个高维空间的覆盖会更稀疏。

在低维空间中，两个动作可能距离不远：
$$
||a_1-a_2|| \text{ small}  
$$
但经过非线性编码后：
$$
||z_{sa_1}-z_{sa_2}| | 
$$
可能变大。于是原来“接近数据”的动作，在嵌入空间中可能变成“远离数据”的点。critic 在这些点上的估计更依赖外推。

这就是 TD7 论文中观察到的现象：状态—动作嵌入和动作相关输入维度越大，价值估计稳定性越容易受到影响；裁剪可以稳定 value estimate。([ResearchGate](https://www.researchgate.net/publication/371311493_For_SALE_State-Action_Representation_Learning_for_Deep_Reinforcement_Learning?utm_source=chatgpt.com "For SALE: State-Action Representation Learning for Deep ..."))

---

## 12. 外推误差的完整因果链

外推误差可以用以下链条概括：
$$
\mathcal D  
\text{ 覆盖不足}  
$$
$$
\Downarrow  
$$
$$
Q_\theta(s,a)  
\text{ 在数据外动作上不可靠}  
$$
$$
\Downarrow  
$$
$$
\pi(s)=\arg\max_a Q_\theta(s,a)  
\text{ 倾向选择被高估的数据外动作}  
$$
$$
\Downarrow  
$$
$$
y=r+\gamma Q_{\bar\theta}(s',\pi(s'))  
\text{ 使用错误 target}  
$$
$$
\Downarrow  
$$
$$
Q_\theta  
\text{ 被错误 target 训练}  
$$
$$
\Downarrow  
$$
$$
\text{错误传播、放大、策略退化}  
$$
因此，外推误差不是一个孤立的预测误差，而是 actor-critic + Bellman backup + off-policy data 三者共同产生的系统性问题。

---

# 13. 与 distribution shift 的关系

外推误差本质上是一种强化学习中的 distribution shift 问题。

监督学习通常假设训练分布和测试分布一致：
$$
p_{\text{train}}(x,y)  
\approx  
p_{\text{test}}(x,y)  
$$
而离策略 RL 中，训练数据来自行为策略：
$$
d^\mu(s,a)  
$$
但 critic 被要求评估当前策略：
$$
d^\pi(s,a)  
$$
一旦：
$$
d^\mu(s,a)\neq d^\pi(s,a)  
$$
尤其是：
$$
\operatorname{supp}(d^\pi)  
\not\subseteq  
\operatorname{supp}(d^\mu)  
$$
外推误差就可能出现。

离线 RL 是最极端的情况，因为数据分布完全固定；在线 off-policy RL 中虽然可以收集新数据，但 replay buffer 滞后、actor 更新快、函数近似泛化不稳定时，也可能出现类似问题。

---

# 14. 常见缓解方法

## 14.1 限制策略靠近数据分布

例如 BCQ、BEAR、BRAC、TD3+BC 等方法都不同程度地限制策略不要远离数据动作。BCQ 直接用生成模型产生数据相似动作；TD3+BC 在 actor objective 中加入 behavior cloning 项。TD3+BC 论文的核心结果是，只在 TD3 的 policy update 中加入行为克隆正则项，并对状态做归一化，就可以形成一个很强的离线 RL baseline。([arXiv](https://arxiv.org/abs/1812.02900?utm_source=chatgpt.com "Off-Policy Deep Reinforcement Learning without Exploration"))

典型形式为：
$$
\max_\pi  
\mathbb{E}_{s\sim\mathcal D}  
[  
Q_\theta(s,\pi(s))  
]
-
\lambda  
\mathbb{E}_{(s,a)\sim\mathcal D}  
[  
||\pi(s)-a||^2  
]  
$$
第一项追求高价值，第二项防止策略偏离数据动作太远。

---

## 14.2 对 $Q$做保守估计

另一类方法会主动惩罚数据外动作的 $Q$值，例如 Conservative Q-Learning 一类思想。其核心是让 critic 不要轻易给数据外动作高值：
$$
Q(s,a_{\text{OOD}})  
\text{ should be low or conservative}  
$$
这样 actor 即使最大化 $Q$，也不容易被虚假的高估动作吸引。

---

## 14.3 使用 double Q / clipped double Q

TD3 的：
$$
\min(Q_1,Q_2)  
$$
可以缓解由最大化导致的过估计，但不能完全解决数据支持不足问题。它更像是降低估计偏差的局部稳定技术，而不是完整的离线分布约束。

---

## 14.4 使用 value clipping

TD7/Sale 中的 value clipping 将 target 中的估计值限制在数据中观察到的 (Q) 范围内，防止高维状态—动作表征在未知动作上产生极端值。TD7 论文明确指出，增加状态—动作输入维度可能诱发在线 RL 中的外推误差，而裁剪可以稳定价值估计。([ResearchGate](https://www.researchgate.net/publication/371311493_For_SALE_State-Action_Representation_Learning_for_Deep_Reinforcement_Learning?utm_source=chatgpt.com "For SALE: State-Action Representation Learning for Deep ..."))

---

# 15. 最核心结论

外推误差可以严谨概括为：
$$
\boxed{  
\text{外推误差}
=
\text{价值函数在数据支持不足的状态—动作对上的不可靠估计}  
}  
$$
在强化学习中，它特别危险，因为：
$$
\boxed{  
\text{actor 会主动寻找并利用这些错误高估点}  
}  
$$
并且：
$$
\boxed{  
\text{Bellman backup 会把这些错误估计递归传播到其他状态—动作对}  
}  
$$
因此，外推误差不是普通的神经网络泛化问题，而是离策略强化学习中特有的结构性风险。它来自：
$$
\text{有限数据}  
+  
\text{off-policy 分布不匹配}  
+  
\text{函数近似}  
+  
\text{Bellman bootstrap}  
+  
\text{策略最大化}  
$$
在离线 RL 中，由于无法通过环境交互修正错误，外推误差尤其严重；在 TD7/Sale 中，由于状态—动作嵌入扩大了动作相关输入维度，在线 RL 中也可能出现类似现象，因此需要额外的 value clipping 稳定价值估计。