下面从强化学习中的 MDP 形式化开始，严格解释 **reward shaping（奖励塑形）** 的定义、动机、潜在风险、potential-based reward shaping 的不变性定理，以及关键推导。

**Sparse Reward Problem**

---
# 1. Reward shaping 的基本问题

强化学习任务通常由 MDP 表示：
$$
M=(\mathcal S,\mathcal A,P,R,\gamma),  
$$
其中：
$$
P(s'|s,a)  
$$
是状态转移概率，
$$
R(s,a,s')  
$$
是环境给出的原始奖励，
$$
\gamma\in[0,1]  
$$
是折扣因子。
策略 $\pi$ 的目标是最大化期望折扣回报：
$$
J(\pi)
=
\mathbb E_\pi  
\left[  
\sum_{t=0}^{\infty}\gamma^t R(S_t,A_t,S_{t+1})  
\right].  
$$
**reward shaping 的思想是：在原始奖励 $R$之外额外加入一个人工设计的 shaping reward $F$，从而构造新的奖励函数**
$$
R'(s,a,s')
=
R(s,a,s')+F(s,a,s').  
$$
**Ng（吴恩达）、Harada 和 Russell 在经典论文中将 shaping reward 定义为对原始 MDP 奖励的附加项：学习算法不直接在 $M=(S,A,T,\gamma,R)$上运行，而是在变换后的 $M'=(S,A,T,\gamma,R')$ 上运行，其中 $R'=R+F$，$F$ 是 shaping reward function。**

**直观上，reward shaping 的目的不是改变任务目标，而是让奖励信号更密集、更有指导性。例如稀疏奖励任务中，只有到达目标才给 +1，其余时间都是 0。这会导致探索困难。若额外奖励“离目标更近”的转移，学习过程可能显著加速。**

但是，关键风险在于：
$$
R' = R + F  
$$
定义了一个新的优化目标。**若 F设计不当，智能体最优策略可能不再是原任务的最优策略**。因此 reward shaping 的核心问题是：
$$
\boxed{  
\text{如何加入额外奖励，同时不改变原始 MDP 的最优策略？}  
}  
$$
[Ng 等人的论文明确指出，任意 shaping reward 可能误导智能体学习次优策略，并给出“朝目标移动给正奖励但不惩罚远离目标”的例子：智能体可能学会围绕局部小循环运动，以反复获得 shaping reward，而不是完成真正目标。](https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf)

---

# 2. 任意 Reward Shaping 为什么危险？

设原始任务的最优策略为
$$
\pi^* \in \arg\max_\pi J_R(\pi).  
$$
加入 shaping reward 后，优化目标变为
$$
J_{R'}(\pi)
=
\mathbb E_\pi  
\left[  
\sum_{t=0}^{\infty}  
\gamma^t  
\bigl(  
R(S_t,A_t,S_{t+1})  
+  
F(S_t,A_t,S_{t+1})  
\bigr)  
\right].  
$$
这等价于：
$$
J_{R'}(\pi)
=
J_R(\pi)  
+  
J_F(\pi),  
$$
其中
$$
J_F(\pi)
=
\mathbb E_\pi  
\left[  
\sum_{t=0}^{\infty}  
\gamma^t  
F(S_t,A_t,S_{t+1})  
\right].  
$$
==如果 $J_F(\pi)$ 对不同策略**不是一个与策略无关的常数**，那么它会改变策略排序。=

也就是说，可能出现：
$$
J_R(\pi_1)>J_R(\pi_2),  
$$
但
$$
J_{R'}(\pi_1)<J_{R'}(\pi_2).  
$$
此时 reward shaping 改变了任务本身。

---
# 3. 目标：Policy Invariance

Reward shaping 最理想的性质是 **policy invariance**，即最优策略不变。

形式化地，希望对于原始 MDP $M$ 与 shaped MDP $M'$，有
$$
\arg\max_a Q_M^*(s,a)
=
\arg\max_a Q_{M'}^*(s,a),  
\qquad \forall s\in\mathcal S.  
$$
(**上面的等式有点问题吧，最优状态价值对应的最优策略不一定是唯一的**)，更强一点，希望
$$
\pi^M  
\text{ is optimal in }M  
\quad  
\Longleftrightarrow  
\quad  
\pi^{M'}  
\text{ is optimal in }M' 
$$
**Ng、Harada 和 Russell 的核心贡献是证明：在没有额外先验知识的情形下，为保证最优策略不变，shaping reward 需要具有一种特殊结构，即 potential-based reward shaping。** 他们给出的定理说明，形如
$$
F(s,a,s')=\gamma\Phi(s')-\Phi(s)  
$$
的 shaping reward 是保证最优策略一致性的充分条件，并且在相应假设下也是必要条件。(https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf)

---

# 4. Potential-Based Reward Shaping

定义一个势函数：
$$
\Phi:\mathcal S\to\mathbb R.  
$$
$\Phi(s)$ 可以理解为状态 $s$ 的“潜势”或“启发式价值”。例如在目标导航任务中，可以令
$$
\Phi(s)=-d(s,g),  
$$
其中 $d(s,g)$是状态 $s$ 到目标 $g$ 的距离。越接近目标，$\Phi(s)$ 越大。

Potential-based shaping reward 定义为：
$$
\boxed{  
F(s,a,s')
=
\gamma\Phi(s')-\Phi(s).  
}  
$$
因此 shaped reward 为：
$$
\boxed{  
R'(s,a,s')
=
R(s,a,s')  
+  
\gamma\Phi(s')
-
\Phi(s).  
}  
$$
**这个形式的含义是：如果转移使状态势函数升高，则获得额外奖励；如果转移使势函数下降，则获得额外惩罚。**

但关键不是“鼓励势函数增加”这一直觉，而是它具有一个严格的 telescoping 结构。这个结构保证额外奖励在整条轨迹上只产生与初始状态有关的常数项，因此不改变同一状态下不同动作或不同策略的最优排序。

---

# 5. 轨迹级推导：为什么 PBRS 不改变最优策略？

考虑从状态 $S_0=s$出发的一条轨迹：
$$
S_0,A_0,S_1,A_1,S_2,\dots  
$$
shaped return 为
$$
G'_0
=
\sum_{t=0}^{\infty}  
\gamma^t  
R'(S_t,A_t,S_{t+1}).  
$$
代入
$$
R'=R+\gamma\Phi(S_{t+1})-\Phi(S_t),  
$$
得到
$$
\begin{aligned}  
G'_0  
&=  
\sum_{t=0}^{\infty}  
\gamma^t  
\Bigl[  
R(S_t,A_t,S_{t+1})  
+  
\gamma\Phi(S_{t+1})
-
\Phi(S_t)  
\Bigr]  
\\  
&=  
\sum_{t=0}^{\infty}  
\gamma^t  
R(S_t,A_t,S_{t+1})  
+  
\sum_{t=0}^{\infty}  
\gamma^{t+1}\Phi(S_{t+1})
-
\sum_{t=0}^{\infty}  
\gamma^t\Phi(S_t).  
\end{aligned}  
$$
第一项是原始 return：
$$
G_0
=
\sum_{t=0}^{\infty}  
\gamma^t  
R(S_t,A_t,S_{t+1}).  
$$
再看势函数项：
$$
\sum_{t=0}^{\infty}  
\gamma^{t+1}\Phi(S_{t+1})
-
\sum_{t=0}^{\infty}  
\gamma^t\Phi(S_t).  
$$
展开：
$$
\gamma\Phi(S_1)  
+  
\gamma^2\Phi(S_2)  
+  
\gamma^3\Phi(S_3)  
+\cdots  
$$
减去
$$
\Phi(S_0)  
+  
\gamma\Phi(S_1)  
+  
\gamma^2\Phi(S_2)  
+  
\gamma^3\Phi(S_3)  
+\cdots.  
$$
中间项全部抵消，得到
$$
-\Phi(S_0).  
$$
若 $\gamma<1$ 且 $\Phi$ 有界，末端极限项
$$
\lim_{T\to\infty}\gamma^{T+1}\Phi(S_{T+1})  
$$
为 0。因此
$$
\boxed{  
G'_0
=
G_0-\Phi(S_0).  
}  
$$
对于同一个初始状态 $S_0=s$，$-\Phi(s)$ 是与策略无关的常数。因此：
$$
G'_0(\pi_1)>G'_0(\pi_2)  
\quad  
\Longleftrightarrow  
\quad  
G_0(\pi_1)>G_0(\pi_2).  
$$
所以，策略排序不变，最优策略不变。

**这就是 potential-based reward shaping 的根本原因：它不是任意改变 reward，而是加入了一个在轨迹回报中 telescoping 抵消的势函数差分项。**

---

# 6. Q 函数层面的严格推导

定义原始 MDP 的动作价值函数：
$$
Q^\pi(s,a)
=
\mathbb E_\pi  
\left[  
\sum_{t=0}^{\infty}  
\gamma^t  
R(S_t,A_t,S_{t+1})  
\mid S_0=s,A_0=a  
\right].  
$$
shaped MDP 中：
$$
Q'^\pi(s,a)
=
\mathbb E_\pi  
\left[  
\sum_{t=0}^{\infty}  
\gamma^t  
R'(S_t,A_t,S_{t+1})  
\mid S_0=s,A_0=a  
\right].  
$$
由上一节轨迹推导可知，从 $S_0=s$ 出发时：
$$
G'_0=G_0-\Phi(s).  
$$
因此
$$
\boxed{  
Q'^\pi(s,a)
=
Q^\pi(s,a)-\Phi(s).  
}  
$$
注意，$-\Phi(s)$ 依赖状态 $s$，但不依赖动作 $a$。所以在同一个状态 $s$ 下：
$$
\arg\max_a Q'^\pi(s,a)
=
\arg\max_a  
\bigl[  
Q^\pi(s,a)-\Phi(s)  
\bigr].  
$$
因为 $\Phi(s)$ 与 $a$ 无关，
$$
\boxed{  
\arg\max_a Q'^\pi(s,a)
=
\arg\max_a Q^\pi(s,a).  
}  
$$
对最优 Q 函数同样有：
$$
\boxed{  
Q'^*(s,a)
=
Q^*(s,a)-\Phi(s).  
}  
$$
于是：
$$
\boxed{  
\arg\max_a Q'^*(s,a)
=
\arg\max_a Q^*(s,a).  
}  
$$
这就是最优策略不变性的 Q 函数证明。

Ng 等人在论文的充分性证明中也给出类似推导：若定义 $\hat Q(s,a)=Q^*(s,a)-\Phi(s)$，则 $\hat Q$满足 shaped MDP 的 Bellman 最优方程，因此 shaped MDP 的最优 Q 函数相当于原始最优 Q 函数减去状态势函数，动作 argmax 不变。(https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf)

---

# 7. Bellman 方程推导

原始 MDP 的 Bellman 最优方程为：
$$
Q^*(s,a)
=
\mathbb E_{s'\sim P(\cdot|s,a)}  
\left[  
R(s,a,s')  
+  
\gamma  
\max_{a'}Q^*(s',a')  
\right].  
$$
定义
$$
\hat Q(s,a)=Q^*(s,a)-\Phi(s).  
$$
希望证明 $\hat Q$ 满足 shaped MDP 的 Bellman 最优方程。
shaped MDP 的 Bellman 最优方程应为：
$$
Q'^*(s,a)
=
\mathbb E_{s'}  
\left[  
R'(s,a,s')  
+  
\gamma\max_{a'}Q'^*(s',a')  
\right].  
$$
代入
$$
R'(s,a,s')
=
 R(s,a,s')  
+  
\gamma\Phi(s')

\Phi(s),  
$$
以及候选形式
$$
Q'(s,a)=\hat Q(s,a)=Q^*(s,a)-\Phi(s),  
$$
右侧为：
$$
\begin{aligned}  
&\mathbb E_{s'}  
\left[  
R(s,a,s')  
+  
\gamma\Phi(s')
-
 \Phi(s)  
+  
\gamma  
\max_{a'}  
\hat Q(s',a')  
\right]  
\\  
&=  
\mathbb E_{s'}  
\left[  
R(s,a,s')  
+  
\gamma\Phi(s')
-
\Phi(s)  
+  
\gamma  
\max_{a'}  
\bigl(  
Q^*(s',a')-\Phi(s')  
\bigr)  
\right].  
\end{aligned}  
$$
由于 $\Phi(s')$与 $a'$无关，
$$
\max_{a'}  
\bigl(  
Q^*(s',a')-\Phi(s')  
\bigr)
=
\max_{a'}Q^*(s',a')-\Phi(s').  
$$
所以：
$$
\begin{aligned}  
&\mathbb E_{s'}  
\left[  
R(s,a,s')  
+

\gamma\Phi(s')
-
\Phi(s)  
+
\gamma  
\bigl(  
\max_{a'}Q^*(s',a')-\Phi(s')  
\bigr)  
\right]  
\\  
&=  
\mathbb E_{s'}  
\left[  
R(s,a,s')
-
 \Phi(s)  
+
\gamma  
\max_{a'}Q^*(s',a')  
\right]  
\\  
&=  
\mathbb E_{s'}  
\left[  
R(s,a,s')  
+
\gamma  
\max_{a'}Q^*(s',a')  
\right]
-
\Phi(s)  
\\  
&=  
Q^*(s,a)-\Phi(s)  
\\  
&=  
\hat Q(s,a).  
\end{aligned}  
$$

因此 $\hat Q$ 满足 shaped MDP 的 Bellman 最优方程。若 Bellman 最优方程解唯一，则
$$
Q'^*(s,a)=\hat Q(s,a)=Q^*(s,a)-\Phi(s).  
$$
于是动作选择不变：
$$
\arg\max_a Q'^*(s,a)
=
\arg\max_a Q^*(s,a).  
$$
---

# 8. 为什么 potential-based 形式能避免“循环刷奖励”？

假设 shaping reward 是普通的“朝目标靠近就给正奖励”：
$$
F(s,a,s')>0  
\quad \text{if }s'\text{ closer to goal than }s.  
$$
如果没有对应的“远离目标惩罚”，可能存在循环：
$$
s_1\to s_2\to s_1\to s_2\to \cdots  
$$
智能体反复获得正 shaping reward，却不真正完成任务。

而 potential-based shaping 的循环总奖励具有抵消结构。

在 $\gamma=1$ 的简单情形下，沿一个闭环：
$$
s_0\to s_1\to s_2\to\cdots\to s_n=s_0,  
$$
shaping reward 总和为：
$$
\begin{aligned}  
\sum_{t=0}^{n-1}F(s_t,a_t,s_{t+1})  
&=  
\sum_{t=0}^{n-1}  
\bigl[  
\Phi(s_{t+1})-\Phi(s_t)  
\bigr]  
\\  
&=  
\Phi(s_1)-\Phi(s_0)  
+  
\Phi(s_2)-\Phi(s_1)  
+\cdots  
+  
\Phi(s_0)-\Phi(s_{n-1})  
\\  
&=  
0.  
\end{aligned}  
$$
**因此，闭环不能凭空创造净 shaping reward。**

**这也是“势函数差分”形式的核心意义：它奖励的是势能变化，而不是任意局部动作模式。Ng 等人在论文中正是从循环导致的 shaping bug 出发，说明需要让 shaping reward 来自某种 conservative potential，即状态势函数的差分。**(https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf)

---

# 9. Reward shaping 与 value initialization 的关系

**Potential-based reward shaping 还有一个重要解释：它在很多情形下等价于某种 Q 值初始化。**

Eric Wiewiora 的论文证明，**若强化学习算法的初始 Q 值按照 potential function 设定，那么它可以与接受 potential-based shaping rewards 的学习器产生相同更新；在一类较广的策略条件下，两种学习器的行为不可区分。**([arXiv](https://arxiv.org/abs/1106.5267 "[1106.5267] Potential-Based Shaping and Q-Value Initialization are Equivalent"))

直观上，**PBRS 不是改变最终最优策略，而是改变学习初期的估计结构。**势函数 $\Phi$ 提供一种先验偏置：
$$
\Phi(s)\text{ 高}  
\quad\Rightarrow\quad  
s\text{ 被认为更接近有价值区域}.  
$$
因此 $PBRS$ 的一个解释是：
$$
\boxed{  
\text{通过 reward 形式注入启发式先验，从而改变学习路径，而不是改变最优解。}  
}  
$$
这也解释了为什么 PBRS 可以提高样本效率：它使学习算法更早地区分“看起来有前途”的状态和“看起来无前途”的状态。

---

# 10. Reward shaping 与 sparse reward

在稀疏奖励任务中，原始奖励可能是：
$$
R(s,a,s')=  
\begin{cases}  
1, & s'\in \mathcal G,\\  
0, & \text{otherwise}.  
\end{cases}  
$$
其中 $\mathcal G$ 是目标状态集合。

这种奖励的困难在于，大量轨迹在到达目标前完全没有学习信号：
$$
R_1=R_2=\cdots=R_T=0.  
$$
此时 TD error 也可能长期缺乏有效信息。reward shaping 可以构造：
$$
\Phi(s)=-d(s,\mathcal G),  
$$
并使用
$$
F(s,a,s')
=
\gamma\Phi(s')-\Phi(s).  
$$
如果 $s'$ 比 $s$ 更接近目标，则通常有
$$
\Phi(s')>\Phi(s),  
$$
从而
$$
F(s,a,s')>0  
$$
的概率增大。

这会让智能体在尚未到达终点前也获得方向性反馈。

但需要强调：  
若直接使用
$$
F(s,a,s')=\mathbb 1[d(s',g)<d(s,g)]  
$$
这类非势函数形式，一般不保证最优策略不变。安全形式应当是势函数差分：
$$
F(s,a,s')=\gamma\Phi(s')-\Phi(s).  
$$
---

# 11. Reward shaping 与 intrinsic reward 的区别

**reward shaping 经常和 intrinsic reward、exploration bonus 混在一起，但二者不同。**
## 11.1 Reward shaping

reward shaping 通常是任务相关的辅助奖励：
$$

R'=R+F.  
$$
**其中 F由领域知识、启发式函数、距离函数、子目标结构等构造。目标是加快学习，同时尽量保持原始任务目标不变。**

## 11.2 Intrinsic reward

**intrinsic reward 通常是探索驱动信号**，例如：
$$
r^{\text{int}}_t
=
\text{novelty}(S_t),  
$$
或
$$
r^{\text{int}}_t
=
\text{prediction error}(S_t).  
$$
**它不一定来自任务势函数，也不一定保持最优策略不变。某些 exploration bonus 会随训练动态变化，因此严格而言对应的是非平稳奖励过程。**
因此：
$$
\boxed{  
\text{不是所有辅助奖励都是 policy-invariant reward shaping。}  
}  
$$

只有满足特定结构的 shaping reward，尤其是 potential-based shaping，才有经典最优策略不变性保证。

---

# 12. Reward shaping 在不同算法中的作用机制

## 12.1 在 Q-learning 中

Q-learning 更新为：
$$
Q(s,a)  
\leftarrow  
Q(s,a)  
+  
\alpha  
\Bigl[  
r  
+  
\gamma\max_{a'}Q(s',a')
-
Q(s,a)  
\Bigr].  
$$
加入 shaping 后：
$$
r'
=
r+\gamma\Phi(s')-\Phi(s).  
$$
于是 TD target 变为：
$$
r  
+  
\gamma\Phi(s')
-
\Phi(s)  
+  
\gamma\max_{a'}Q(s',a').  
$$
其直接效果是改变 TD error：
$$
\delta'
=
 r  
+  
\gamma\Phi(s')
-
 \Phi(s)  
+  
\gamma\max_{a'}Q(s',a')
-
Q(s,a).  
$$
这会改变学习初期的更新方向和速度。但在精确表格设定、满足 PBRS 条件时，最终最优策略仍与原始任务一致。

---

## 12.2 在 actor-critic 中

**actor-critic 通常使用优势函数**：
$$
A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s).  
$$
如果 PBRS 导致
$$
Q'^\pi(s,a)=Q^\pi(s,a)-\Phi(s),  
$$
并且
$$
V'^\pi(s)=V^\pi(s)-\Phi(s),  
$$
则
$$
A'^\pi(s,a)
=
Q'^\pi(s,a)-V'^\pi(s)
=
 Q^\pi(s,a)-V^\pi(s)
=
A^\pi(s,a).  
$$
因此在理想精确估计下，PBRS 不改变优势函数。
**但在深度强化学习中，价值函数和优势函数都是近似估计。reward shaping 会改变训练信号的尺度、方差、bootstrap target、critic fitting 难度，因此可能显著改变训练动态。也就是说，理论上 policy-invariant 不代表有限样本、函数逼近、非凸优化下学习轨迹完全不变。**

---

# 13. 设计 potential function 的原则

Potential function $\Phi(s)$应当满足两个目标：
$$
\text{提供有用学习信号}  
$$
同时
$$
\text{不改变原始最优策略}.  
$$
常见构造方式包括：

## 13.1 距离型势函数

用于导航、机器人控制：
$$
\Phi(s)=-d(s,g).  
$$
越接近目标，势函数越大。

对应 shaping reward：
$$
F(s,a,s')
=
-\gamma d(s',g)+d(s,g).  
$$
若 $\gamma\approx 1$，且 $s'$ 更接近目标，则
$$
d(s',g)<d(s,g)  
$$
通常导致正 shaping reward。

---

## 13.2 子目标型势函数

若任务可分解为阶段：
$$
g_1\to g_2\to\cdots\to g_K,  
$$
可令
$$
\Phi(s)  
$$
表示当前已经完成的子目标进度。

例如：
$$
\Phi(s)=k  
$$
表示已完成前 $k$ 个子目标。则从阶段 $k$ 进入阶段 $k+1$ 会产生正 shaping reward。

---

## 13.3 价值近似型势函数

理想情况下，若有一个近似价值函数
$$
\tilde V(s)\approx V^*(s),  
$$
可以令
$$
\Phi(s)=\tilde V(s).  
$$
此时 shaping reward 近似为：
$$
F(s,a,s')
=
\gamma \tilde V(s')-\tilde V(s).  
$$
这相当于把未来价值差异提前注入即时奖励中，使学习信号更密集。

---

# 14. Reward shaping 的常见错误

## 14.1 直接奖励“动作模式”而不是“任务进展”

例如：
$$
F(s,a,s')=  
\begin{cases}  
+1, & a=\text{move right},\\  
0, & \text{otherwise}.  
\end{cases}  
$$
这会偏好某类动作，即使该动作不总是对任务有利。此类 shaping 通常会改变最优策略。

---
## 14.2 只奖励靠近目标，不惩罚远离目标

例如：
$$
F(s,a,s')=  
\begin{cases}  
+1, & d(s',g)<d(s,g),\\  
0, & \text{otherwise}.  
\end{cases}  
$$
该形式可能导致循环刷奖励。若向目标走一步给 $+1$，再退回不给惩罚，则智能体可能反复“前进一步、后退一步”。

正确的 potential-based 形式应为：
$$
F(s,a,s')
=
\gamma\Phi(s')-\Phi(s),  
$$
这样前进和后退在势函数差分上会相互抵消。

---
## 14.3 shaping reward 尺度过大

若
$$
|F(s,a,s')|\gg |R(s,a,s')|,  
$$
训练过程可能主要优化 shaping reward，而不是原始任务 reward。

即使 PBRS 理论上保持最优策略不变，在函数逼近、有限探索、早停训练中，过大的 shaping reward 仍然可能导致实践上偏离原始目标。

---

## 14.4 终止状态势函数处理错误

在 episodic task 中，通常需要对终止状态设定合适的势函数，例如：
$$
\Phi(s_{\text{terminal}})=0.  

$$
否则 episode 结束时的 telescoping 项可能产生额外边界项，影响不同终止方式的偏好。

Ng 等人的定理也对 $\gamma=1$的情形加入了 absorbing state 与 $\Phi(s_0)=0$ 等条件，以保证理论形式成立。(https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf)

---

## 14.5 shaping 使用了非 Markov 信息

若 $F$ 依赖历史：
$$
F_t=F(S_0,A_0,\dots,S_t,A_t,S_{t+1}),  
$$
但状态 $S_t$ 本身没有包含这些历史信息，则 shaped process 可能不再是原状态空间上的 Markov reward process。

**解决方式通常是扩展状态，使历史变量成为状态的一部分。例如任务进度、子目标阶段、自动机状态等都应显式加入状态表示。**

---

# 15. 与 reward hacking 的关系

**reward hacking 是“代理目标被优化”与“真实目标未实现”之间的错位；reward shaping 如果设计不当，会制造这种错位；potential-based shaping 的作用，是在提供辅助奖励的同时避免改变最优策略集合。**

---

## 1. 两个目标函数：真实目标 $J_R$ 与 shaped 目标 $J_{R+F}$

原始 MDP 的奖励为 $R$，策略 $\pi$ 的真实性能目标是：
$$
J_R(\pi)
=
\mathbb E_\pi  
\left[  
\sum_{t=0}^{\infty}\gamma^t R(S_t,A_t,S_{t+1})  
\right].  
$$
加入 shaping reward $F$ 后，训练时使用的新奖励为：
$$
R'(s,a,s')=R(s,a,s')+F(s,a,s').  
$$
对应优化目标变成：
$$
J_{R+F}(\pi)
=
\mathbb E_\pi  
\left[  
\sum_{t=0}^{\infty}\gamma^t  
\bigl(  
R(S_t,A_t,S_{t+1})  
+  
F(S_t,A_t,S_{t+1})  
\bigr)  
\right].  

$$
因此：
$$
\boxed{  
J_{R+F}(\pi)=J_R(\pi)+J_F(\pi).  
}  
$$
如果 $J_F(\pi)$ 对不同策略的取值不同，那么它就会改变策略之间的排序。Ng、Harada 和 Russell 的经典 reward shaping 论文正是研究：哪些奖励变换能保证最优策略不变；他们指出，任意 shaping reward 可能误导学习过程，而 potential-based shaping 可以保持策略不变。([People @ EECS](https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf?utm_source=chatgpt.com "Policy invariance under reward transformations"))

---

## 2. Reward hacking 的数学含义

文中写：
$$
\pi_{\text{learned}}  
\in  
\arg\max_\pi J_{R+F}(\pi),  
$$
但
$$
\pi_{\text{learned}}  
\notin  
\arg\max_\pi J_R(\pi).  
$$
含义是：
$$
\pi_{\text{learned}}  
$$
**确实是 shaped reward 下的最优策略，或者近似最优策略；但是它不是原始真实奖励 $R$ 下的最优策略。**
也就是说，学习算法没有“算错”。如果优化器足够强，它会尽力最大化训练时给出的目标：
$$
J_{R+F}.  
$$
问题在于：
$$
J_{R+F}  
\neq J_R.  
$$
所以 reward hacking 更精确地说是：
$$
\boxed{  
\text{智能体优化了被指定的代理奖励，但该代理奖励与真实任务目标不一致。}  
}  
$$
这与 reward hacking / reward misspecification 文献中的描述一致：智能体会利用奖励函数中的漏洞或模糊性来获得高代理奖励，而不真正完成设计者希望的任务。Lilian Weng 对 reward hacking 的综述也将其定义为：RL agent exploit flaws or ambiguities in the reward function to obtain high rewards without genuinely completing intended task。([Lil'Log](https://lilianweng.github.io/posts/2024-11-28-reward-hacking/?utm_source=chatgpt.com "Reward Hacking in Reinforcement Learning"))

---

## 3. 为什么这不是“算法理解错了任务”？

强化学习算法本身只看到奖励信号。若训练目标是：
$$
R'=R+F,  
$$
那么算法实际优化的是：
$$
J_{R'}=J_{R+F}.  
$$
因此，如果某个策略通过利用 $F$ 获得很高 shaped return，那么从优化角度看，该策略可能完全合理。

例如原始目标是“到达终点”，但 shaping reward 设计成：
$$
F(s,a,s')=  
\begin{cases}  
+1, & \text{距离目标变近},\\  
0, & \text{否则}.  
\end{cases}  
$$
若智能体可以反复“靠近一步—远离一步—靠近一步”，并且远离不受惩罚，那么它可能通过循环不断获得 shaping reward。此时问题不是算法误解，而是：
$$
F  
$$
给出了一个可以被刷分的代理目标。
所以严格地说：
$$
\boxed{  
\text{reward hacking 是目标函数规范错误，而不是优化器执行错误。}  
}  
$$
Pan、Bhatia 和 Steinhardt 关于 reward misspecification 的研究也指出，能力更强的 agent 更可能利用 misspecified reward 的漏洞，获得更高 proxy reward 却更低 true reward。([arXiv](https://arxiv.org/abs/2201.03544?utm_source=chatgpt.com "The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models"))

---
## 4. Potential-based shaping 为什么能避免改变最优策略？

Potential-based shaping 定义一个势函数：
$$
\Phi:\mathcal S\to\mathbb R.  
$$
然后令：
$$
\boxed{  
F(s,a,s')=\gamma\Phi(s')-\Phi(s).  
}  
$$
于是：
$$
R'(s,a,s')
=
R(s,a,s')  
+  
\gamma\Phi(s')-\Phi(s).  
$$
关键不是“$\Phi$ 看起来像启发式函数”，而是这个形式会在轨迹回报中 telescoping cancellation。

从 $S_0=s$ 出发，shaped return 为：
$$
G'_0
=
\sum_{t=0}^{\infty}  
\gamma^t  
\left[  
R_t+\gamma\Phi(S_{t+1})-\Phi(S_t)  
\right].  
$$
其中：
$$
R_t=R(S_t,A_t,S_{t+1}).  

$$
展开：
$$
G'_0
=
\sum_{t=0}^{\infty}\gamma^tR_t  
+  
\sum_{t=0}^{\infty}\gamma^{t+1}\Phi(S_{t+1})
-
\sum_{t=0}^{\infty}\gamma^t\Phi(S_t).  
$$
第一项是原始回报：
$$
G_0=\sum_{t=0}^{\infty}\gamma^tR_t.  
$$
后两项展开为：
$$
\gamma\Phi(S_1)+\gamma^2\Phi(S_2)+\cdots  
$$
减去
$$
\Phi(S_0)+\gamma\Phi(S_1)+\gamma^2\Phi(S_2)+\cdots.  
$$
中间项全部抵消：
$$
\sum_{t=0}^{\infty}\gamma^{t+1}\Phi(S_{t+1})
-
 \sum_{t=0}^{\infty}\gamma^t\Phi(S_t)
=
-\Phi(S_0).  
$$
因此：
$$
\boxed{  
G'_0=G_0-\Phi(S_0).  
}  
$$
在同一个初始状态 $S_0=s$下，$-\Phi(s)$ 是常数，不依赖策略，也不依赖动作序列。因此不同策略的排序不变：
$$
G'_0(\pi_1)-G'_0(\pi_2)
=
G_0(\pi_1)-G_0(\pi_2).  
$$
取期望后：
$$
V_{R'}^\pi(s)=V_R^\pi(s)-\Phi(s).  
$$
进一步得到：
$$
Q_{R'}^\pi(s,a)=Q_R^\pi(s,a)-\Phi(s).  
$$
对最优 Q 函数：
$$
\boxed{  
Q_{R'}^*(s,a)=Q_R^*(s,a)-\Phi(s).  
}  
$$
由于 $\Phi(s)$ 与动作 $a$ 无关：
$$
\arg\max_a Q_{R'}^*(s,a)
=
 \arg\max_a  
\bigl[  
Q_R^*(s,a)-\Phi(s)  
\bigr]
=
\arg\max_a Q_R^*(s,a).  
$$
所以：
$$
\boxed{  
\Pi_{R'}^*=\Pi_R^*.  
}  
$$
Ng、Harada 和 Russell 证明，potential-based shaping 不改变最优策略，并且在相应意义下是保证 policy invariance 的必要形式；该结论就是 PBRS 与普通 heuristic reward shaping 的根本区别。([People @ EECS](https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf?utm_source=chatgpt.com "Policy invariance under reward transformations"))

---

## 5. 为什么 PBRS 不会产生典型 reward hacking？

普通 shaping 的问题是：它可能让某些循环、捷径或局部行为获得额外收益。例如：
$$
s_1\to s_2\to s_1\to s_2\to\cdots  
$$
如果每次 $s_1\to s_2$都给正奖励，但 $s_2\to s_1$ 没有相应惩罚，那么循环会产生净收益。

PBRS 中，shaping reward 是势函数差分。考虑有限轨迹：
$$
S_0,S_1,\dots,S_T.  
$$
shaping 部分的折扣和为：
$$
\sum_{t=0}^{T-1}  
\gamma^t  
\left[  
\gamma\Phi(S_{t+1})-\Phi(S_t)  
\right].  
$$
展开后得到：
$$
-\Phi(S_0)+\gamma^T\Phi(S_T).  
$$
如果是闭环且 $\gamma=1$，例如 $S_T=S_0$，则：
$$
-\Phi(S_0)+\Phi(S_T)=0.  
$$
**所以闭环不会凭空产生净 shaping reward。PBRS 的结构类似“保守势场”：沿路径获得的 shaping 总量由端点决定，而不是由路径中绕了多少圈决定。** Ng 等人也正是用非 potential-based shaping 导致的 bug 说明，普通 shaping 可能误导策略，而 potential-based shaping 可以避免这类策略不变性问题。([People @ EECS](https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf?utm_source=chatgpt.com "Policy invariance under reward transformations"))

---

## 6. 但 PBRS 是否完全消除 reward hacking？

需要区分理论层面与实践层面。

在理想 MDP、精确求解、固定势函数、正确折扣因子、终止状态处理合理等条件下，PBRS 保证最优策略集合不变：
$$
\arg\max_\pi J_{R'}(\pi)
=
\arg\max_\pi J_R(\pi).  
$$
因此，PBRS 不会在最优策略层面制造 reward hacking。

但在深度强化学习实践中，仍然可能出现问题：
$$
\text{函数逼近误差、有限样本、探索不足、早停、奖励尺度过大、非平稳 shaping}  
$$
**都可能导致实际学习到的策略偏离理想最优策略。换言之，PBRS 解决的是“奖励变换是否改变最优策略”的理论问题，不自动解决所有训练动态问题。**

尤其当 shaping reward 的数值尺度远大于原始奖励时，即使理论最优策略不变，训练初期的梯度、critic fitting、exploration bias 仍可能被 shaping 项主导。

---

## 7. 这段话的严谨改写

可以把原段落更严谨地写成：

 Reward shaping 将训练目标从 $J_R(\pi)$ 改为 $J_{R+F}(\pi)$。若 $F$ 不是 policy-invariant 的，则可能存在策略 $\pi$，使其在 shaped objective 下最优，但在原始 objective 下非最优：
$$
\pi\in\arg\max_\pi J_{R+F}(\pi),  
 \qquad  
 \pi\notin\arg\max_\pi J_R(\pi).  
$$
 **这类现象可视为 reward hacking 或 reward misspecification：agent 并非没有优化目标，而是精确地优化了错误或不完整的代理目标。** Potential-based reward shaping 通过令
$$
 F(s,a,s')=\gamma\Phi(s')-\Phi(s)  
$$
 使 shaping 回报沿轨迹 telescoping 为仅依赖初始状态的常数：
$$
 G' = G-\Phi(S_0).  
$$
 因此
$$
 Q_{R'}^*(s,a)=Q_R^*(s,a)-\Phi(s),  
$$
从而同一状态下的动作 argmax 不变：
$$
 \arg\max_a Q_{R'}^*(s,a)
=
 \arg\max_a Q_R^*(s,a).  
$$
 **所以 PBRS 可以改变学习过程中的奖励密度和更新信号，但在理论条件满足时不改变原始任务的最优策略集合。**

核心一句话：
$$
\boxed{  
\text{普通 reward shaping 可能把“辅助信号”变成“新目标”；PBRS 的作用是让辅助信号只改变学习路径，而不改变最优策略。}  
}  
$$

---

# 16. Reward shaping 的本质总结

Reward shaping 是一种通过修改即时奖励信号来改善学习效率的方法：
$$
R'=R+F.  
$$
但任意 $F$ 都可能改变原始任务的最优策略。**Potential-based reward shaping 选择**：
$$
F(s,a,s')=\gamma\Phi(s')-\Phi(s),  
$$
其关键性质是**轨迹级 telescoping**：
$$
\sum_{t=0}^{\infty}  
\gamma^t  
\bigl[  
\gamma\Phi(S_{t+1})-\Phi(S_t)  
\bigr]
=
-\Phi(S_0).  
$$
因此：
$$
G'_0=G_0-\Phi(S_0).  
$$
在同一初始状态下，$-\Phi(S_0)$ 是策略无关常数，所以策略排序不变。

对应到 Q 函数：
$$
Q'^*(s,a)=Q^*(s,a)-\Phi(s).  
$$
由于 $-\Phi(s)$ 与动作 $a$无关，
$$
\arg\max_a Q'^*(s,a)
=
\arg\max_a Q^*(s,a).  
$$
所以：
$$

\boxed{  
\text{Potential-based reward shaping 可以改变学习过程，但不改变最优策略。}  
}  
$$
更精炼地说：
$$
\boxed{  
\text{reward shaping 的目的，是改善信用分配和探索效率；}  
}  
$$
$$
\boxed{  
\text{PBRS 的核心，是用势函数差分提供密集反馈，同时通过 telescoping 结构保持策略不变。}  
}  
$$
---

下面给出一个更严格版本：先定义 reward shaping，再说明任意 shaping 为什么会改变任务，随后推导 **Potential-Based Reward Shaping, PBRS** 为什么保持最优策略不变。核心结论是：
$$
\boxed{  
R'(s,a,s')=R(s,a,s')+\gamma\Phi(s')-\Phi(s)  
}  
$$
这种形式的额外奖励在整条轨迹上会发生 telescoping cancellation，因此只给回报加上一个与动作无关的状态常数，不改变同一状态下动作的最优排序。Ng、Harada、Russell 的经典论文正是围绕“哪些 reward transformation 能保持最优策略不变”展开，并证明 potential-based shaping 是保证 policy invariance 的核心形式。(https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf)

---

# 1. MDP 与原始优化目标

设强化学习任务为折扣 MDP：
$$
\mathcal M=(\mathcal S,\mathcal A,P,R,\gamma),  

$$
其中：
$$
P(s'|s,a)  
$$
表示状态转移概率，
$$
R(s,a,s')  
$$
表示从 $s$ 执行动作 $a$ 后转移到 $s'$ 得到的原始奖励，
$$
\gamma\in[0,1)  
$$
表示折扣因子。

给定策略 $\pi(a|s)$，从时间 $t$开始的折扣回报为：
$$
G_t
=
\sum_{k=0}^{\infty}  
\gamma^k  
R(S_{t+k},A_{t+k},S_{t+k+1}).  
$$
状态价值函数为：
$$
V_R^\pi(s)
=
\mathbb E_\pi  
\left[  
G_t\mid S_t=s  
\right],  
$$
动作价值函数为：
$$
Q_R^\pi(s,a)
=
\mathbb E_\pi  
\left[  
G_t\mid S_t=s,A_t=a  
\right].  
$$
最优动作价值函数为：
$$
Q_R^*(s,a)
=
\sup_\pi Q_R^\pi(s,a).  
$$
最优策略满足：
$$
\pi^*(s)  
\in  
\arg\max_{a\in\mathcal A}Q_R^*(s,a).  
$$
因此，若修改奖励函数后同一状态下的动作排序发生变化，则最优策略可能改变。

---

# 2. Reward shaping 的定义

Reward shaping 是在原始奖励 $R$ 上加入额外奖励项 $F$，构造新的奖励函数：
$$
R'(s,a,s')
=
R(s,a,s')+F(s,a,s').  
$$
其中 $F$ 称为 shaping reward。于是 shaped return 为：
$$
G'_t
=
\sum_{k=0}^{\infty}  
\gamma^k  
R'(S_{t+k},A_{t+k},S_{t+k+1}).  
$$
代入 $R'=R+F$：
$$
\begin{aligned}  
G'_t  
&=  
\sum_{k=0}^{\infty}  
\gamma^k  
\left[  
R(S_{t+k},A_{t+k},S_{t+k+1})  
+  
F(S_{t+k},A_{t+k},S_{t+k+1})  
\right]  
\\  
&=  
G_t  
+  
\sum_{k=0}^{\infty}  
\gamma^k  
F(S_{t+k},A_{t+k},S_{t+k+1}).  
\end{aligned}  
$$
因此 reward shaping 不是简单“加速学习”的无害技巧，而是在优化目标中加入了额外项：
$$
J_{R'}(\pi)
=
J_R(\pi)+J_F(\pi).  
$$
若 $J_F(\pi)$依赖策略，则不同策略之间的排序可能被改变。

Ng 等人的论文明确指出，reward shaping 可以为学习过程提供额外指导，但不合适的 shaping 会诱导次优策略；经典例子包括智能体通过局部循环反复获得 shaping reward，而不完成原始任务。(https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf)

---
# 3. 任意 shaping 为什么可能改变最优策略？

设原始奖励下两个策略满足：
$$
J_R(\pi_1)>J_R(\pi_2).  
$$
加入 shaping 后：
$$
J_{R'}(\pi_i)
=
J_R(\pi_i)+J_F(\pi_i).  
$$
如果
$$
J_F(\pi_2)-J_F(\pi_1)
\gt
J_R(\pi_1)-J_R(\pi_2),  
$$
则有：
$$
J_{R'}(\pi_2)>J_{R'}(\pi_1).  
$$
**这说明，$\pi_2$ 在原始任务中较差，但在 shaped reward 下反而更优。于是 shaped MDP 的最优策略不再等于原始 MDP 的最优策略。**
因此 reward shaping 的核心问题不是“能不能加入额外奖励”，而是：
$$
\boxed{  
\text{加入的 }F\text{ 是否只改变学习过程，而不改变最优策略集合？}  
}  
$$
这个性质称为 **policy invariance**。

---

# 4. Policy invariance 的形式化定义

给定原始 MDP：
$$
\mathcal M=(\mathcal S,\mathcal A,P,R,\gamma),  
$$
以及 shaped MDP：
$$
\mathcal M'=(\mathcal S,\mathcal A,P,R',\gamma),  
$$
其中
$$
R'=R+F.  
$$
如果对所有状态 $s$，最优动作集合保持不变：
$$
\arg\max_a Q_R^*(s,a)
=
\arg\max_a Q_{R'}^*(s,a),  
$$
则称 reward transformation 保持 policy invariance。更强地，如果所有最优策略集合相同，则：
$$
\Pi_R^*=\Pi_{R'}^*.  
$$
Reward shaping 理论的关键目标就是寻找满足该性质的 $F$。

---

# 5. Potential-Based Reward Shaping 的定义

Potential-Based Reward Shaping，简称 PBRS，定义一个势函数：
$$
\Phi:\mathcal S\to\mathbb R.  
$$
然后令 shaping reward 为：
$$
\boxed{  
F(s,a,s')
=
\gamma\Phi(s')-\Phi(s).  
}  
$$
注意，该形式通常不显式依赖动作 $a$，但可以通过状态转移 $s\to s'$ 间接依赖动作。
shaped reward 为：
$$
\boxed{  
R'(s,a,s')
=
R(s,a,s')  
+  
\gamma\Phi(s')-\Phi(s).  
}  
$$
Ng 等人的经典定理说明，这种 potential-based 形式可以保证最优策略不变；Devlin 和 Kudenko 后续工作也沿用该形式，并强调 shaping reward 必须使用与智能体更新规则相同的折扣因子 $\gamma$。(https://www.ifaamas.org/Proceedings/aamas2012/papers/2C_3.pdf)

---

# 6. 轨迹级推导：PBRS 为什么保持策略不变？

从状态 $S_0=s$ 出发，shaped return 为：
$$
G'_0
=
\sum_{t=0}^{\infty}  
\gamma^t  
R'(S_t,A_t,S_{t+1}).  
$$
代入 PBRS：
$$
R'(S_t,A_t,S_{t+1})
=
R(S_t,A_t,S_{t+1})  
+  
\gamma\Phi(S_{t+1})
-
\Phi(S_t).  
$$
于是：
$$
\begin{aligned}  
G'_0  
&=  
\sum_{t=0}^{\infty}  
\gamma^t  
\left[  
R(S_t,A_t,S_{t+1})  
+  
\gamma\Phi(S_{t+1})
-
\Phi(S_t)  
\right]  
\\  
&=  
\sum_{t=0}^{\infty}  
\gamma^t  
R(S_t,A_t,S_{t+1})  
+  
\sum_{t=0}^{\infty}  
\gamma^{t+1}\Phi(S_{t+1})
-
\sum_{t=0}^{\infty}  
\gamma^t\Phi(S_t).  
\end{aligned}  
$$
第一项就是原始 return：
$$
G_0
=
\sum_{t=0}^{\infty}  
\gamma^t  
R(S_t,A_t,S_{t+1}).  
$$
现在重点看势函数项：
$$
\sum_{t=0}^{\infty}  
\gamma^{t+1}\Phi(S_{t+1})
=
\sum_{t=0}^{\infty}  
\gamma^t\Phi(S_t).  
$$
展开第一项：
$$
\sum_{t=0}^{\infty}  
\gamma^{t+1}\Phi(S_{t+1})
=
\gamma\Phi(S_1)  
+  
\gamma^2\Phi(S_2)  
+  
\gamma^3\Phi(S_3)  
+\cdots.  

$$
展开第二项：
$$
\sum_{t=0}^{\infty}  
\gamma^t\Phi(S_t)
=
\Phi(S_0)  
+  
\gamma\Phi(S_1)  
+  
\gamma^2\Phi(S_2)  
+  
\gamma^3\Phi(S_3)  
+\cdots.  
$$
两者相减：
$$
\begin{aligned}  
&\left[  
\gamma\Phi(S_1)  
+  
\gamma^2\Phi(S_2)  
+  
\gamma^3\Phi(S_3)  
+\cdots  
\right]  
\\  
&\quad-  
\left[  
\Phi(S_0)  
+  
\gamma\Phi(S_1)  
+  
\gamma^2\Phi(S_2)  
+  
\gamma^3\Phi(S_3)  
+\cdots  
\right]  
\\  
&=  
-\Phi(S_0).  
\end{aligned}  
$$
如果 $\gamma<1$且 $\Phi$ 有界，则无穷远处的边界项
$$
\lim_{T\to\infty}\gamma^{T+1}\Phi(S_{T+1})  
$$
为 0。因此：
$$
\boxed{  
G'_0
=
G_0-\Phi(S_0).  
}  
$$
这就是 PBRS 的核心 telescoping cancellation。

**对同一个初始状态 $S_0=s$，$-\Phi(s)$ 是一个常数，不依赖后续动作选择，也不依赖策略。因此，对任意两个策略 $\pi_1,\pi_2$，有**：
$$
G'_0(\pi_1)-G'_0(\pi_2)
=
G_0(\pi_1)-G_0(\pi_2).  
$$
取期望后：
$$
V_{R'}^\pi(s)
=
V_R^\pi(s)-\Phi(s).  
$$
因此：
$$
V_{R'}^{\pi_1}(s)>V_{R'}^{\pi_2}(s)  
\quad  
\Longleftrightarrow  
\quad  
V_R^{\pi_1}(s)>V_R^{\pi_2}(s).  
$$
策略排序不变，最优策略也不变。Devlin 和 Kudenko 的动态 PBRS 论文中也使用同类 telescoping 推导，证明 shaped return 等于原始 return 减去初始势函数项。(https://www.ifaamas.org/Proceedings/aamas2012/papers/2C_3.pdf)

---

# 7. 有限 horizon 情况下的推导

若 episode 在时间 $T$ 终止，则：
$$
G'_0
=
\sum_{t=0}^{T-1}  
\gamma^t  
\left[  
R_t+\gamma\Phi(S_{t+1})-\Phi(S_t)  
\right].  
$$
其中简写：
$$
R_t=R(S_t,A_t,S_{t+1}).  
$$
展开：
$$
\begin{aligned}  
G'_0  
&=  
\sum_{t=0}^{T-1}\gamma^tR_t  
+  
\sum_{t=0}^{T-1}\gamma^{t+1}\Phi(S_{t+1})
-
\sum_{t=0}^{T-1}\gamma^t\Phi(S_t)  
\\  
&=  
G_0  
+  
\left[  
\gamma\Phi(S_1)+\gamma^2\Phi(S_2)+\cdots+\gamma^T\Phi(S_T)  
\right]  
\\  
&\quad-  
\left[  
\Phi(S_0)+\gamma\Phi(S_1)+\cdots+\gamma^{T-1}\Phi(S_{T-1})  
\right]  
\\  
&=  
G_0-\Phi(S_0)+\gamma^T\Phi(S_T).  
\end{aligned}  
$$
所以有限 horizon 下：
$$
\boxed{  
G'_0
=
G_0-\Phi(S_0)+\gamma^T\Phi(S_T).  
}  
$$
若所有终止状态满足：
$$
\Phi(S_T)=0,  
$$
则：
$$
G'_0=G_0-\Phi(S_0).  
$$
若不同终止状态的 $\Phi(S_T)$ 不同，则终止边界项
$$
\gamma^T\Phi(S_T)  
$$
**可能影响策略偏好。因此 episodic task 中通常需要谨慎处理终止状态的势函数，常见做法是令终止状态势函数为 0，或者保证终止边界项不会改变策略排序。**

---

# 8. Q 函数层面的推导

轨迹推导已经说明：
$$
G'_0=G_0-\Phi(S_0).  
$$
在条件 $S_0=s,A_0=a$ 下取期望：
$$
Q_{R'}^\pi(s,a)
=
\mathbb E_\pi[G'_0\mid S_0=s,A_0=a].  
$$
代入：
$$
\begin{aligned}  
Q_{R'}^\pi(s,a)  
&=  
\mathbb E_\pi[G_0-\Phi(S_0)\mid S_0=s,A_0=a]  
\\  
&=  
\mathbb E_\pi[G_0\mid S_0=s,A_0=a]
-
\Phi(s)  
\\  
&=  
Q_R^\pi(s,a)-\Phi(s).  
\end{aligned}  
$$
因此：
$$
\boxed{  
Q_{R'}^\pi(s,a)=Q_R^\pi(s,a)-\Phi(s).  
}  
$$
对最优动作价值函数同样有：
$$
\boxed{  
Q_{R'}^*(s,a)=Q_R^*(s,a)-\Phi(s).  
}  
$$
因为 $\Phi(s)$ 只依赖状态，不依赖动作，所以：
$$
\begin{aligned}  
\arg\max_a Q_{R'}^*(s,a)  
&=  
\arg\max_a  
\left[  
Q_R^*(s,a)-\Phi(s)  
\right]  
\\  
&=  
\arg\max_a Q_R^*(s,a).  
\end{aligned}  
$$
于是：
$$
\boxed{  
\arg\max_a Q_{R'}^*(s,a)
=
\arg\max_a Q_R^*(s,a).  
}  
$$
这就是 PBRS 保持最优策略不变的 Q 函数证明。Ng 等人的充分性证明也可表述为：shaped MDP 的最优 Q 函数等于原始最优 Q 函数减去状态势函数，因此同一状态下的动作 argmax 不变。(https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf)

---

# 9. Bellman 最优方程推导

原始最优 Q 函数满足 Bellman 最优方程：
$$
Q_R^*(s,a)
=
\mathbb E_{s'\sim P(\cdot|s,a)}  
\left[  
R(s,a,s')  
+  
\gamma\max_{a'}Q_R^*(s',a')  
\right].  
$$
shaped MDP 中：
$$
R'(s,a,s')
=
R(s,a,s')+\gamma\Phi(s')-\Phi(s).  
$$
shaped 最优 Bellman 方程为：
$$
Q_{R'}^*(s,a)
=
\mathbb E_{s'}  
\left[  
R'(s,a,s')  
+  
\gamma\max_{a'}Q_{R'}^*(s',a')  
\right].  
$$
构造候选函数：
$$
\hat Q(s,a)=Q_R^*(s,a)-\Phi(s).  
$$
证明 $\hat Q$ 满足 shaped Bellman 方程。

右侧为：
$$
\begin{aligned}  
&\mathbb E_{s'}  
\left[  
R'(s,a,s')  
+  
\gamma\max_{a'}\hat Q(s',a')  
\right]  
\\  
&=  
\mathbb E_{s'}  
\left[  
R(s,a,s')  
+  
\gamma\Phi(s')
-
\Phi(s)  
+  
\gamma\max_{a'}  
\left(  
Q_R^*(s',a')-\Phi(s')  
\right)  
\right].  
\end{aligned}  
$$
因为 $\Phi(s')$ 与动作 $a'$ 无关：
$$
\max_{a'}  
\left(  
Q_R^*(s',a')-\Phi(s')  
\right)
=
\max_{a'}Q_R^*(s',a')-\Phi(s').  
$$
代回：
$$
\begin{aligned}  
&\mathbb E_{s'}  
\left[  
R(s,a,s')  
+  
\gamma\Phi(s')
-
 \Phi(s)  
+  
\gamma  
\left(  
\max_{a'}Q_R^*(s',a')-\Phi(s')  
\right)  
\right]  
\\  
&=  
\mathbb E_{s'}  
\left[  
R(s,a,s')
-
 \Phi(s)  
+  
\gamma\max_{a'}Q_R^*(s',a')  
\right]  
\\  
&=  
\mathbb E_{s'}  
\left[  
R(s,a,s')  
+  
\gamma\max_{a'}Q_R^*(s',a')  
\right]
-
\Phi(s)  
\\  
&=  
Q_R^*(s,a)-\Phi(s)  
\\  
&=  
\hat Q(s,a).  
\end{aligned}  
$$
因此：
$$
\hat Q(s,a)  
$$
满足 shaped Bellman 最优方程。**由折扣 MDP 中 Bellman 最优算子的唯一不动点性质可得**：
$$

Q_{R'}^*(s,a)=Q_R^*(s,a)-\Phi(s).  
$$
因此最优动作集合不变：
$$
\arg\max_a Q_{R'}^*(s,a)
=
\arg\max_a Q_R^*(s,a).  
$$

---

# 10. 为什么 PBRS 避免“循环刷奖励”？

不合适的 shaping 可能导致智能体通过循环获得额外奖励。例如：
$$
F(s,a,s')=  
\begin{cases}  
+1, & d(s',g)<d(s,g),\\  
0, & \text{otherwise}.  
\end{cases}  
$$
该形式只奖励接近目标，不惩罚远离目标。若存在
$$
s_1\to s_2\to s_1  
$$
这样的循环，且 $s_1\to s_2$获得正 shaping reward，而 ($s_2\to s_1$) 不受惩罚，则智能体可能反复循环。
PBRS 不会产生这种无约束的净奖励增长。原因是 PBRS 的 shaping reward 是势函数差分：
$$
F(s,a,s')=\gamma\Phi(s')-\Phi(s).  
$$
在一整条轨迹上，shaping 部分会 telescoping：
$$
\sum_{t=0}^{T-1}  
\gamma^tF(S_t,A_t,S_{t+1})
=
-\Phi(S_0)+\gamma^T\Phi(S_T).  
$$
如果回到同一个状态并重复循环，shaping 项不会无限制地产生与任务无关的额外收益；其总效应受势函数边界项约束。Ng 等人的论文正是用这类“shaping bug”说明非 potential-based reward 可能诱导错误策略，而 conservative potential 的差分形式可以避免这种问题。

---

# 11. 必要性直观推导：为什么必须接近势函数差分？

Ng 等人的结果不仅说明 PBRS 是充分条件，还说明在缺乏额外先验限制时，若希望对广泛 MDP 保证 policy invariance，shaping reward 需要具有 **potential**-based 结构。

直观证明思路如下。

假设 shaping reward $F$ 不是**势函数差分**。则可能存在两条从同一状态出发、在任务意义上等价的路径，其 shaping 累计和不同。考虑原始奖励全为 0 的 MDP：
$$
R(s,a,s')=0.  
$$
此时所有策略在原始 MDP 中价值相同：
$$
Q_R^*(s,a)=0.  
$$
若 shaping reward 使某条路径获得更高 shaped return，则 shaped MDP 会偏好该路径：
$$
Q_{R'}^*(s,a_1)>Q_{R'}^*(s,a_2).  
$$
这样，原本等价的动作被 shaping reward 人为区分，policy invariance 被破坏。

**为了避免这种情况，shaping reward 在任意路径上的累计贡献必须只依赖路径端点，而不能依赖具体路径。** 数学上，这要求 shaping reward 是某个势函数的差分。折扣情形下，对应形式正是：
$$
F(s,a,s')=\gamma\Phi(s')-\Phi(s).  
$$
这个形式保证：
$$
\sum_{t=0}^{T-1}\gamma^tF(S_t,A_t,S_{t+1})
=
-\Phi(S_0)+\gamma^T\Phi(S_T),  
$$
即 shaping 累计值只由边界项决定，而不是由路径内部如何绕行决定。(https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf)

---

# 12. Reward shaping 与 Q-learning

原始 Q-learning 更新为：
$$
Q(s,a)  
\leftarrow  
Q(s,a)  
+  
\alpha  
\left[  
r  
+  
\gamma\max_{a'}Q(s',a')
-
Q(s,a)  
\right].  
$$
加入 PBRS 后：
$$
r'
=
r+\gamma\Phi(s')-\Phi(s).  

$$
于是更新变为：
$$
Q(s,a)  
\leftarrow  
Q(s,a)  
+  
\alpha  
\left[  
r  
+  
\gamma\Phi(s')
-
 \Phi(s)  
+  
\gamma\max_{a'}Q(s',a')
-
Q(s,a)  
\right].  
$$
对应 TD error 为：
$$
\delta'
=
 r  
+  
\gamma\Phi(s')
-
 \Phi(s)  
+  
\gamma\max_{a'}Q(s',a')
-
Q(s,a).  
$$
因此 PBRS 会改变每一步的 TD error，从而改变学习过程中的更新方向、更新幅度和探索行为。但由于最终最优 Q 函数只整体平移：
$$
Q_{R'}^*(s,a)=Q_R^*(s,a)-\Phi(s),  
$$
同一状态下动作排序不变。

这说明 PBRS 的作用是：
$$
\boxed{  
\text{改变学习动态，而不是改变最优解。}  
}  
$$

---

# 13. Reward shaping 与 advantage function

优势函数定义为：
$$
A_R^\pi(s,a)
=
Q_R^\pi(s,a)-V_R^\pi(s).  
$$
由 PBRS 推导可得：
$$
Q_{R'}^\pi(s,a)=Q_R^\pi(s,a)-\Phi(s),  
$$
$$
V_{R'}^\pi(s)=V_R^\pi(s)-\Phi(s).  
$$
因此：
$$
\begin{aligned}  
A_{R'}^\pi(s,a)  
&=  
Q_{R'}^\pi(s,a)-V_{R'}^\pi(s)  
\\  
&=  
\left[  
Q_R^\pi(s,a)-\Phi(s)  
\right]
-
\left[  
V_R^\pi(s)-\Phi(s)  
\right]  
\\  
&=  
Q_R^\pi(s,a)-V_R^\pi(s)  
\\  
&=  
A_R^\pi(s,a).  
\end{aligned}  
$$
所以在精确价值估计下，PBRS 不改变优势函数。

**但是在深度强化学习中，critic、advantage、return 都是近似估计；reward shaping 会改变 reward scale、TD target、value fitting difficulty 和梯度方差。因此，理论上的 policy invariance 不意味着有限样本、函数逼近、非凸优化条件下的训练轨迹完全相同。**

---

# 14. Reward shaping 与 Q-value initialization 的关系

Eric Wiewiora 的论文证明，potential-based shaping 与基于势函数的 Q-value initialization 在若干强化学习算法和 action-selection 条件下具有等价关系：一个使用 PBRS 的学习器，与另一个不使用 shaping 但用相同势函数初始化 Q 值的学习器，可以产生相同的更新和不可区分的行为。([arXiv](https://arxiv.org/abs/1106.5267 "[1106.5267] Potential-Based Shaping and Q-Value Initialization are Equivalent"))
直观上，PBRS 相当于把启发式先验 $\Phi$ 注入学习过程。它既可以表现为额外 reward，也可以在某些情形下表现为初始价值偏置。
不过这种等价性主要针对静态势函数。Devlin 和 Kudenko 指出，若势函数随时间动态变化，则动态 PBRS 不再等价于一次性的 Q-table initialization，因为初始化只能在学习开始前注入信息，而动态势函数可以在学习过程中持续改变。

---
# 15. Dynamic Potential-Based Reward Shaping(Any useful？)

静态 PBRS 使用：
$$
F(s,s')=\gamma\Phi(s')-\Phi(s).  
$$
动态 PBRS 允许势函数依赖时间：
$$
\Phi=\Phi(s,t).  
$$
对应 shaping reward 为：
$$
\boxed{  
F(s,t,s',t')
=
\gamma\Phi(s',t')-\Phi(s,t).  
}  
$$
其中 $t$ 是到达旧状态的时间，$t'$ 是到达新状态的时间。

轨迹推导为：
$$
\begin{aligned}  
G'_\Phi  
&=  
\sum_{j=0}^{\infty}  
\gamma^j  
\left[  
r_j  
+  
\gamma\Phi(s_{j+1},t_{j+1})
-
\Phi(s_j,t_j)  
\right]  
\\  
&=  
\sum_{j=0}^{\infty}\gamma^jr_j  
+  
\sum_{j=0}^{\infty}\gamma^{j+1}\Phi(s_{j+1},t_{j+1})
-
\sum_{j=0}^{\infty}\gamma^j\Phi(s_j,t_j)  
\\  
&=  
G-\Phi(s_0,t_0).  
\end{aligned}  
$$
因此，若差分使用“状态被访问时”的势函数值，动态 PBRS 仍然保留 telescoping 结构。Devlin 和 Kudenko 证明，这种动态形式可在单智能体情形中保持 policy invariance，并在多智能体情形中保持一致的 Nash equilibria。(https://www.ifaamas.org/Proceedings/aamas2012/papers/2C_3.pdf)

---

# 16. State-action potential-based shaping

状态势函数形式为：
$$
\Phi:\mathcal S\to\mathbb R.  
$$
也可以构造状态—动作势函数：
$$
\Phi:\mathcal S\times\mathcal A\to\mathbb R.  
$$
在 on-policy SARSA 型更新中，常见形式是：
$$
F(s,a,s',a')
=
\gamma\Phi(s',a')-\Phi(s,a).  
$$
其轨迹级 telescoping 同样成立：
$$
\sum_{t=0}^{\infty}  
\gamma^t  
\left[  
\gamma\Phi(S_{t+1},A_{t+1})-\Phi(S_t,A_t)  
\right]
=
-\Phi(S_0,A_0).  
$$
于是：
$$
Q_{R'}^\pi(s,a)
=
Q_R^\pi(s,a)-\Phi(s,a).  
$$
但要注意，如果势函数依赖动作，则同一状态下不同动作会被减去不同的 $\Phi(s,a)$，动作排序可能改变。因此 state-action PBRS 的 policy invariance 条件比 state-only 情形更细，需要与具体算法、策略选择机制和更新目标配合使用。Devlin 和 Kudenko 的综述性背景也提到后续工作将 PBRS 扩展到 state-action potentials 和多智能体情形。(https://www.ifaamas.org/Proceedings/aamas2012/papers/2C_3.pdf)

---

# 17. Reward shaping 的设计原则

## 17.1 优先使用 potential-based 形式

若目标是加速学习但不改变最优策略，应使用：
$$
F(s,a,s')=\gamma\Phi(s')-\Phi(s).  
$$
而不是任意设计：
$$
F(s,a,s')=\text{heuristic bonus}.  
$$
例如导航任务中，可令：
$$
\Phi(s)=-d(s,g),  
$$
其中 $d(s,g)$ 是到目标的距离。则：
$$
F(s,a,s')
=
-\gamma d(s',g)+d(s,g).  
$$
如果 $s'$ 更接近目标，通常有：
$$
d(s',g)<d(s,g),  
$$
于是 shaping reward 倾向为正。

---

## 17.2 势函数应编码“状态进展”，不是动作偏好

不推荐直接设计：
$$
F(s,a,s')=  
\begin{cases}  
+1, & a=\text{某个动作},\\  
0, & \text{otherwise}.  
\end{cases}  
$$
因为这会直接改变动作偏好，即使该动作在某些状态下并非最优。

更合理的是设计状态势函数：
$$
\Phi(s)  
$$
表示任务进展，然后由差分产生 shaping reward。

---

## 17.3 reward scale 不能压倒原始奖励

即使 PBRS 理论上保持最优策略，实践中也需要控制尺度。若：
$$
|F(s,a,s')|\gg |R(s,a,s')|,  
$$
则在有限样本、函数逼近、早停训练下，学习过程可能主要围绕 shaping signal 展开，导致实际策略表现偏离原始目标。

---

## 17.4 终止状态势函数必须谨慎处理

有限 episode 中：
$$
G'_0=G_0-\Phi(S_0)+\gamma^T\Phi(S_T).  
$$
若不同终止状态具有不同 $\Phi(S_T)$，则 shaped return 会偏好某些终止状态。因此常见要求是：
$$
\Phi(s_{\text{terminal}})=0.  
$$
或者保证所有可达终止状态的边界项相同。

---

# 18. Reward shaping 与 intrinsic reward 的区别

Reward shaping 通常指任务相关的奖励变换：
$$
R'=R+F.  
$$
它的目标是在保留原任务最优策略的同时改善学习速度。

Intrinsic reward 通常是探索信号，例如 novelty bonus、prediction error bonus、information gain bonus：


$$
R'=R+\beta R_{\text{int}}.  
$$


这类 bonus 不一定是 potential-based，也通常不保证最优策略不变。

因此：


$$
\boxed{  
\text{所有 PBRS 都是 reward shaping，但不是所有辅助奖励都是 policy-invariant reward shaping。}  
}  
$$


---

# 19. Reward shaping 的本质

Reward shaping 的本质是修改即时奖励：
$$
R'=R+F.  
$$
如果 ($F$) 任意设计，则优化目标从
$$
J_R(\pi)  
$$
变为
$$
J_R(\pi)+J_F(\pi),  
$$
最优策略可能改变。

Potential-based reward shaping 选择特殊形式：
$$
F(s,a,s')=\gamma\Phi(s')-\Phi(s),  
$$
使 shaping return 发生 telescoping：
$$
\sum_{t=0}^{\infty}  
\gamma^tF(S_t,A_t,S_{t+1})

-\Phi(S_0).  
$$
因此：
$$
G'_0=G_0-\Phi(S_0).  
$$
于是：
$$
Q_{R'}^*(s,a)=Q_R^*(s,a)-\Phi(s).  
$$
因为 $-\Phi(s)$ 与动作 $a$ 无关：
$$
\arg\max_a Q_{R'}^*(s,a)
=
\arg\max_a Q_R^*(s,a).  
$$

所以最终结论是：
$$
\boxed{  
\text{PBRS 可以改变学习过程中的奖励密度、TD error 和探索路径，但不改变原始 MDP 的最优策略。}  
}  
$$
更严格地说：
$$
\boxed{  
\text{reward shaping 的风险在于改变目标；PBRS 的关键在于通过势函数差分只引入状态相关常数平移。}  
}  
$$