下面给出一个尽量**系统、严谨、全面**的整理。重点是：强化学习、马尔可夫过程、马尔可夫奖励过程、马尔可夫决策过程中的“分布”不是一个概念，而是一组由 **初始状态、转移核、策略、奖励机制、时间、折扣、采样方式、数据来源** 共同诱导出的概率对象。

---

# 0. 总体框架：为什么强化学习中会出现这么多分布

强化学习研究的是随机交互过程。典型轨迹为：
$$
\tau
=
(S_0,A_0,R_1,S_1,A_1,R_2,S_2,\ldots).  
$$

其中：
$$
S_t  
$$
是状态随机变量；
$$
A_t  
$$
是动作随机变量；

$$
R_{t+1}  
$$
是奖励随机变量。

因此，只要涉及随机变量，就会有分布。强化学习中的分布大致可以分为以下几类：

$$
\text{初始状态分布}  
$$
$$
\text{状态转移分布}  
$$
$$
\text{奖励分布}  
$$
$$
\text{策略诱导的动作分布}  
$$
$$
\text{时间 }t\text{ 的状态分布}  
$$
$$
\text{轨迹分布}  
$$
$$
\text{状态访问分布 / occupancy measure}  
$$
$$
\text{平稳分布}  
$$
$$
\text{经验数据分布}  
$$
$$
\text{行为策略分布与目标策略分布}  
$$
$$
\text{回报分布}  
$$
$$
\text{belief 分布}  
$$
这些分布的区别非常重要。许多强化学习理论问题，例如 on-policy/off-policy 区别、经验回放偏差、离线 RL 的分布外问题、策略梯度中的状态访问分布、TD 学习中的投影分布，本质上都是不同分布之间不一致导致的。

Sutton 和 Barto 将满足马尔可夫性质的强化学习任务称为 MDP，并强调有限 MDP 是强化学习理论中的基础模型；Stanford CS229 讲义也将 MDP 写成由状态集合、动作集合、转移概率、折扣因子和奖励函数组成的结构。([Stanford University](https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf?utm_source=chatgpt.com "Reinforcement Learning: An Introduction"))

---

# 1. 基本概率记号：分布、条件分布、核

## 1.1 离散状态空间中的分布

若状态空间有限：
$$
\mathcal S={s_1,s_2,\ldots,s_n},  
$$
则状态分布是一个概率向量：
$$
\mu(s_i)=\Pr(S=s_i),  
$$

并满足：
$$
\mu(s_i)\ge 0,  
\qquad  
\sum_{i=1}^n \mu(s_i)=1.  
$$

例如：

$$
\mu=(0.2,0.5,0.3)  
$$

表示：

$$
\Pr(S=s_1)=0.2,\quad  
\Pr(S=s_2)=0.5,\quad  
\Pr(S=s_3)=0.3.  
$$

---

## 1.2 连续状态空间中的分布

若状态空间连续，例如：

$$
\mathcal S=\mathbb R^d,  
$$

则通常不能写：
$$
\Pr(S=s)  
$$
因为单点概率往往为零。此时用**概率密度**：
$$
p(s)  
$$
或更一般地用**概率测度**：
$$
\mu(B)=\Pr(S\in B),  
\qquad B\subseteq\mathcal S.  
$$
例如：
$$
S\sim \mathcal N(0,I)  
$$
表示状态服从高斯分布。

---

## 1.3 概率核

在马尔可夫过程和 MDP 中，经常出现“给定当前状态后的下一状态分布”。这不是普通边缘分布，而是条件分布或概率核：
$$
P(\cdot\mid s).  
$$
若有动作，则是：
$$
P(\cdot\mid s,a).  
$$
离散情况下写成：
$$
P(s'\mid s,a).  
$$
连续情况下写成：
$$
P(B\mid s,a)=\Pr(S_{t+1}\in B\mid S_t=s,A_t=a).  
$$
概率核是从当前条件变量到下一步概率分布的映射：
$$
(s,a)\mapsto P(\cdot\mid s,a).  
$$
---

# 2. 马尔可夫过程中的各种分布

先从没有动作的马尔可夫过程开始。

一个离散时间马尔可夫过程可写为：
$$
S_0,S_1,S_2,\ldots  
$$
并满足马尔可夫性质：
$$
\Pr(S_{t+1}=s'\mid S_0,\ldots,S_t)
=
\Pr(S_{t+1}=s'\mid S_t).  
$$

也就是说，给定当前状态后，未来一步的分布不再依赖更早历史。Berkeley CS188 也将 “Markov” 解释为：给定当前状态，未来与过去条件独立。([EECS Instructional Support Group](https://inst.eecs.berkeley.edu/~cs188/su24/assets/lectures/cs188-su24-lec14.pdf?utm_source=chatgpt.com "CS 188: Artificial Intelligence"))

---

## 2.1 初始状态分布 $\mu_0$

初始状态分布定义为：
$$
\mu_0(s)=\Pr(S_0=s).  
$$
它描述过程从哪里开始。
若固定从 $s_0$ 开始：
$$
\mu_0(s)
=
 \delta_{s_0}(s)
=
\begin{cases}  
1, & s=s_0,\\ 
0, & s\neq s_0.  
\end{cases}  
$$

这叫 Dirac 分布或退化分布。
若随机初始化：
$$
S_0\sim \mu_0.  
$$
例如：
$$
\mu_0(s_1)=0.4,\quad  
\mu_0(s_2)=0.6.  
$$
初始状态分布决定了整个随机过程的起点，因此也影响有限时间状态分布、轨迹分布、折扣访问分布。

---

## 2.2 转移分布 $P(s'\mid s)$

马尔可夫过程的动力学由转移分布刻画：
$$
P(s'\mid s)
=
\Pr(S_{t+1}=s'\mid S_t=s).  
$$

在有限状态空间中，它可以写成转移矩阵：
$$
P
=
\begin{bmatrix}  
P(s_1\mid s_1)&P(s_2\mid s_1)&\cdots\\  
P(s_1\mid s_2)&P(s_2\mid s_2)&\cdots\\  
\vdots&\vdots&\ddots  
\end{bmatrix}.  
$$
采用行向量约定时，每一行和为 $1$：
$$
\sum_{s'}P(s'\mid s)=1.  
$$
转移分布回答：
$$
\boxed{  
\text{给定当前状态 }s\text{，下一状态如何分布？}  
}  
$$
---

## 2.3 $n$-step 转移分布

一步转移是：
$$
P(s'\mid s).  
$$
两步转移为：
$$
P^2(s''\mid s)
=
\sum_{s'}P(s'\mid s)P(s''\mid s').  
$$
一般地，$n$-step 转移为：
$$
P^n(s'\mid s)
=
\Pr(S_{t+n}=s'\mid S_t=s).  
$$
矩阵形式：
$$
P^n = \underbrace{P P\cdots P}_{n\text{ 次}}.  
$$

---

## 2.4 时间 $t$ 的状态分布 $\mu_t$

状态分布定义为：
$$
\mu_t(s)=\Pr(S_t=s).  
$$

如果初始分布为 $\mu_0$，采用行向量约定，则：
$$
\mu_{t+1}=\mu_tP.  
$$
递推得到：
$$
\mu_t=\mu_0P^t.  
$$
分量形式为：
$$
\mu_{t+1}(s')
=
\sum_s \mu_t(s)P(s'\mid s).  
$$
这个公式说明：时间 $t+1$ 到达 $s'$ 的概率，是所有前一状态 $s$ 的概率加权转移总和。

MIT 的 Markov chain 讲义也给出类似形式：时间 (t) 的分布可写为初始分布乘以 $P^t$，并讨论分布是否会随着 $t\to\infty$ 收敛。([MIT CSAIL](https://people.csail.mit.edu/ronitt/COURSE/S22/NOTES/lec10-scribe.pdf?utm_source=chatgpt.com "Lecture 10 1 Introduction 2 Markov Chains"))

---

## 2.5 有限维联合分布

马尔可夫过程不仅有单时刻状态分布，也有多时刻联合分布。例如：
$$
\Pr(S_0=s_0,S_1=s_1,\ldots,S_T=s_T).  
$$
由马尔可夫性质：
$$
\Pr(S_0=s_0,\ldots,S_T=s_T)
=
\mu_0(s_0)  
\prod_{t=0}^{T-1}P(s_{t+1}\mid s_t).  
$$
**这个公式是整个马尔可夫过程路径分布的基础。**

---

## 2.6 路径分布 / 轨迹分布

对于马尔可夫过程，长度为 $T$ 的状态路径：
$$
\tau=(s_0,s_1,\ldots,s_T)  
$$
的概率为：
$$
p(\tau)
=
\mu_0(s_0)  
\prod_{t=0}^{T-1}P(s_{t+1}\mid s_t).  
$$
它回答：
$$
\boxed{  
\text{整条状态序列出现的概率是多少？}  
}  
$$
状态边缘分布 $\mu_t$ 可以由路径分布边缘化得到。

---

# 3. 平稳分布、极限分布、遍历分布

这是马尔可夫过程里最容易混淆的一组概念。

---

## 3.1 平稳分布 / invariant distribution

若存在分布 $d$，满足：
$$
d=dP,  
$$
即：
$$
d(s')
=
\sum_s d(s)P(s'\mid s),  
$$
并且：
$$
d(s)\ge 0,\qquad \sum_s d(s)=1,  
$$
则称 $d$ 是转移矩阵 $P$ 的平稳分布或不变分布。

直观含义是：如果当前状态服从 $d$，经过一步转移后仍然服从 $d$。

$$
S_t\sim d  
\quad\Longrightarrow\quad  
S_{t+1}\sim d.  
$$

这不是说状态不变，而是说**分布不变**。MIT 讲义将 stationary distribution 定义为满足 $\pi^*=\pi^*P$ 的分布；另一些随机过程教材也以 $\pi P=\pi$ 作为平稳分布的定义。([MIT CSAIL](https://people.csail.mit.edu/ronitt/COURSE/S22/NOTES/lec10-scribe.pdf?utm_source=chatgpt.com "Lecture 10 1 Introduction 2 Markov Chains"))(https://gordanz.github.io/stochastic-book/stationary-distributions.html#long-run-averages)

---

## 3.2 平稳过程

如果初始分布就是平稳分布：

$$
\mu_0=d,  
$$

则：
$$
\mu_1=dP=d,  
$$
$$
\mu_2=dP^2=d,  
$$
因此：
$$
\mu_t=d,\qquad \forall t\ge 0.  
$$
此时过程在边缘分布意义下是平稳的。

注意：
$$
S_t  
$$

仍然会变化，但每个时间步的边缘分布一样。

---

## 3.3 极限分布

极限分布是：
$$
\lim_{t\to\infty}\mu_0P^t.  
$$
若对任意初始分布 $\mu_0$，都有：
$$
\lim_{t\to\infty}\mu_0P^t=d,  
$$
则 $d$ 是长期极限分布。

平稳分布与极限分布不同：
$$
d=dP  
$$
只说明从 $d$ 出发会保持 $d$；
$$
\lim_{t\to\infty}\mu_0P^t=d  
$$
说明从其他初始分布出发也会收敛到 $d$。
Columbia 随机过程讲义专门区分 limiting distribution，并讨论 $n\to\infty$ 时状态分布的极限行为。([Columbia University](https://www.columbia.edu/~ks20/stochastic-I/stochastic-I-MCII.pdf?utm_source=chatgpt.com "1 Limiting distribution for a Markov chain"))

---

## 3.4 不可约、非周期与唯一平稳分布

在有限马尔可夫链中，若链不可约且非周期，通常可以得到唯一平稳分布，并且状态分布从任意初始分布收敛到它。MIT 讲义中也指出，要得到唯一且收敛意义良好的 stationary distribution，通常需要 irreducibility 与 aperiodicity 等性质。([MIT CSAIL](https://people.csail.mit.edu/ronitt/COURSE/S22/NOTES/lec10-scribe.pdf?utm_source=chatgpt.com "Lecture 10 1 Introduction 2 Markov Chains"))

直观地说：

- 不可约：任意状态之间最终都有可能互相到达；
  
- 非周期：链不会被固定周期锁死；
  
- 正常返 / positive recurrent：状态不会无限稀疏地返回。
  

---

## 3.5 时间平均访问分布

给定一条轨迹：
$$
S_0,S_1,\ldots,S_{T-1},  
$$
经验状态访问分布为：
$$
\hat d_T(s)
=
\frac{1}{T}  
\sum_{t=0}^{T-1}\mathbf 1{S_t=s}.  
$$

这是实际采样轨迹中状态 $s$ 出现的频率。

若马尔可夫链满足遍历条件，则通常有：
$$
\hat d_T(s)\to d(s)  
$$
在适当意义下成立。

注意：
$$
\mu_t(s)=\Pr(S_t=s)  
$$
是集合意义上“第 $t$ 步的概率”；
$$
\hat d_T(s)  
$$
是一条或多条样本轨迹上的“经验频率”。

二者不是同一对象。

---

# 4. 马尔可夫奖励过程 MRP 中的分布

马尔可夫奖励过程可以理解为“带奖励的马尔可夫过程”，没有动作。

一个 MRP 可写为：
$$
(\mathcal S,P,R,\gamma).  
$$
其中：
$$
P(s'\mid s)  
$$
是状态转移分布；
$$
R_{t+1}  
$$
是奖励随机变量。

---

## 4.1 奖励分布

奖励可以是确定性函数：
$$
r(s)  
$$
或
$$
r(s,s'),  
$$
也可以是随机分布：
$$
p(r\mid s)  
$$
或
$$
p(r\mid s,s').  
$$
最完整的形式是联合核：
$$
p(s',r\mid s).  
$$
它描述：
$$
\Pr(S_{t+1}=s',R_{t+1}=r\mid S_t=s).  
$$
若只关心期望奖励，则：
$$
R(s)
=
\mathbb E[R_{t+1}\mid S_t=s].  
$$
或：
$$
R(s,s')
=
\mathbb E[R_{t+1}\mid S_t=s,S_{t+1}=s'].  
$$

---

## 4.2 回报随机变量的分布

折扣回报定义为：
$$
G_t
=
\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}.  
$$
因为未来奖励随机，所以 $G_t$ 本身也是随机变量。
可以讨论它的条件分布：
$$
\mathcal L(G_t\mid S_t=s),  
$$
即从状态 $s$ 开始未来回报的完整分布。
状态价值函数只是这个分布的期望：
$$
V(s)
=
\mathbb E[G_t\mid S_t=s].  
$$
因此：
$$
\boxed{  
V(s)\text{ 不是回报分布，而是回报分布的一阶矩。}  
}  
$$
分布式强化学习则直接建模回报分布：
$$
Z(s)\overset{D}{=}G_t\mid S_t=s.  
$$

---

## 4.3 MRP 中的折扣状态访问权重

在 MRP 中也可以定义折扣访问权重：
$$
d_\gamma(s)
=
\sum_{t=0}^{\infty}\gamma^t\Pr(S_t=s).  
$$
若初始分布为 $\mu_0$，则：
$$
d_{\mu_0,\gamma}(s)
=
\sum_{t=0}^{\infty}\gamma^t(\mu_0P^t)(s).  
$$
该量不是概率分布，因为：
$$
\sum_s d_\gamma(s)
=
\frac{1}{1-\gamma}.  
$$
归一化版本：
$$
\bar d_\gamma(s)
=
(1-\gamma)d_\gamma(s)  
$$
才是概率分布。

---

# 5. MDP 中的核心分布

马尔可夫决策过程比马尔可夫过程多了动作和策略。

一个 MDP 通常写作：
$$
\mathcal M=(\mathcal S,\mathcal A,P,r,\gamma).  
$$
其中：
$$
P(\cdot\mid s,a)  
$$
是给定状态动作后的下一状态分布；
$$
r(s,a)  
$$
或奖励分布描述奖励；
$$
\gamma  
$$
是折扣因子。RL Theory lecture notes 也将 MDP 写作五元组，并说明 (P) 收集每个状态-动作对的下一状态分布。([RL Theory](https://rltheory.github.io/lecture-notes/planning-in-mdps/lec2/?utm_source=chatgpt.com "2. The Fundamental Theorem"))

---

## 5.1 动作分布：策略 $\pi(a\mid s)$

策略是动作条件分布：
$$
\pi(a\mid s)=\Pr(A_t=a\mid S_t=s).  
$$
它回答：
$$
\boxed{  
\text{给定状态 }s\text{，各动作被选择的概率是多少？}  
}  
$$
若策略有参数：
$$
\pi_\theta(a\mid s).  
$$
离散动作中常见 softmax 策略：
$$
\pi_\theta(a\mid s)
=
\frac{\exp(f_\theta(s,a))}  
{\sum_b\exp(f_\theta(s,b))}.  
$$
连续动作中常见高斯策略：
$$
A_t\sim \mathcal N(\mu_\theta(S_t),\Sigma_\theta(S_t)).  
$$
OpenAI Spinning Up 将 policy 描述为 agent 用于决定动作的规则，并区分 deterministic policy 与 stochastic policy。([Spinning Up](https://spinningup.openai.com/en/latest/spinningup/rl_intro.html?utm_source=chatgpt.com "Part 1: Key Concepts in RL — Spinning Up documentation"))

---

## 5.2 **确定性策略是退化分布**

若：
$$
A_t=\mu(s)  
$$
则：
$$
\pi(a\mid s)
=
\delta_{\mu(s)}(a).  
$$
离散动作下：
$$
\pi(a\mid s)
=
\begin{cases}  
1, & a=\mu(s),\\  
0, & a\neq \mu(s).  
\end{cases}  
$$
**所以确定性策略也是一种特殊动作分布。**

---

## 5.3 环境转移分布 $P(s'\mid s,a)$

MDP 的转移核为：
$$
P(s'\mid s,a)
=
\Pr(S_{t+1}=s'\mid S_t=s,A_t=a).  
$$
它回答：
$$
\boxed{  
\text{在状态 }s\text{ 执行动作 }a\text{ 后，下一状态如何分布？}  
}  
$$
这与策略分布不同：
$$
\pi(a\mid s)  
$$
是 agent 的动作随机性；

$$
P(s'\mid s,a)  
$$

是环境的转移随机性。

---

## 5.4 奖励分布 $p(r\mid s,a)$ 或 $p(s',r\mid s,a)$

奖励可以由期望函数表示：

$$
r(s,a)
=
\mathbb E[R_{t+1}\mid S_t=s,A_t=a],  
$$

也可以由完整分布表示：
$$
p(r\mid s,a).  
$$
更完整：
$$
p(s',r\mid s,a).  
$$
则：
$$
P(s'\mid s,a)
=
\int p(s',r\mid s,a),dr.  
$$
期望奖励：
$$
r(s,a)
=
\sum_{s'}\int r,p(s',r\mid s,a),dr.  
$$

---

# 6. 固定策略后，MDP 诱导出马尔可夫过程

一旦给定策略 $\pi$，动作被边缘化，MDP 变成一个马尔可夫过程。

---

## 6.1 策略诱导转移核 $P_\pi$

定义：
$$
P_\pi(s'\mid s)
=
\sum_a\pi(a\mid s)P(s'\mid s,a).  
$$
连续动作空间中：
$$
P_\pi(s'\mid s)
=
\int_{\mathcal A}\pi(a\mid s)P(s'\mid s,a),da.  
$$
这表示：在状态 $s$，先按照策略选动作，再由环境转移。

因此：
$$
\pi  
\quad+\quad  
P  
\quad\Longrightarrow\quad  
P_\pi.  
$$
固定策略后：
$$
S_0,S_1,S_2,\ldots  
$$
就是一个马尔可夫过程。

---
## 6.2 策略诱导奖励函数

类似地，可以定义策略诱导的一步期望奖励：
$$
r_\pi(s)
=
\sum_a\pi(a\mid s)r(s,a).  
$$
若奖励依赖下一状态：
$$
r_\pi(s)
=
\sum_a\pi(a\mid s)  
\sum_{s'}P(s'\mid s,a)r(s,a,s').  
$$
因此，给定策略 $\pi$ 后，MDP 退化为 MRP：

$$
(\mathcal S,P_\pi,r_\pi,\gamma).  
$$

---

# 7. MDP 中的时间状态分布

## 7.1 定义

在策略 $\pi$ 下，时间 $t$ 的状态分布为：
$$
\mu_t^\pi(s)
=
\Pr_\pi(S_t=s).  
$$
若强调初始分布：
$$
\mu_t^{\mu_0,\pi}(s)
=
\Pr_\pi(S_t=s\mid S_0\sim\mu_0).  
$$
---

## 7.2 递推公式

因为固定 $\pi$ 后有 $P_\pi$，所以：
$$
\mu_{t+1}^\pi
=
\mu_t^\pi P_\pi.  
$$
因此：
$$
\mu_t^\pi
=
\mu_0P_\pi^t.  
$$
分量形式：

$$
\mu_{t+1}^\pi(s')
=
\sum_s\mu_t^\pi(s)  
\sum_a\pi(a\mid s)P(s'\mid s,a).  
$$


这个式子说明状态分布由三者共同决定：

$$
\boxed{  
\mu_0,\quad \pi,\quad P.  
}  
$$

---

# 8. 时间状态-动作联合分布

## 8.1 定义

时间 $t$ 的状态-动作联合分布为：
$$
\nu_t^\pi(s,a)
=
\Pr_\pi(S_t=s,A_t=a).  
$$
由条件概率：
$$
\nu_t^\pi(s,a)
=
\Pr_\pi(S_t=s)\Pr_\pi(A_t=a\mid S_t=s).  
$$
所以：
$$
\nu_t^\pi(s,a)
=
\mu_t^\pi(s)\pi(a\mid s).  
$$
该分布回答：
$$
\boxed{  
\text{第 }t\text{ 步采样到状态 }s\text{ 且选择动作 }a\text{ 的概率是多少？}  
}  
$$

---

## 8.2 一步 transition tuple 分布

强化学习数据常见样本为：
$$
(S_t,A_t,R_{t+1},S_{t+1}).  
$$
其联合分布为：

$$
p_t^\pi(s,a,r,s')
=
\mu_t^\pi(s)  
\pi(a\mid s)  
p(s',r\mid s,a).  
$$

这是 TD 学习、Q-learning、经验回放中的基本样本分布。

---

# 9. MDP 中的轨迹分布

## 9.1 有限 horizon 轨迹分布

长度 $T$ 的轨迹：
$$
\tau=(s_0,a_0,r_1,s_1,a_1,r_2,\ldots,s_T)  
$$
在策略 $\pi$ 下的概率为：

$$
p_\pi(\tau)
=
\mu_0(s_0)  
\prod_{t=0}^{T-1}  
\pi(a_t\mid s_t)  
p(s_{t+1},r_{t+1}\mid s_t,a_t).  
$$
若奖励确定且省略奖励项：
$$
p_\pi(s_0,a_0,\ldots,s_T)
=
\mu_0(s_0)  
\prod_{t=0}^{T-1}  
\pi(a_t\mid s_t)  
P(s_{t+1}\mid s_t,a_t).  
$$
Spinning Up 将 trajectory 定义为 states 和 actions 的序列，并指出轨迹由策略和环境动力学共同生成。([Spinning Up](https://spinningup.openai.com/en/latest/spinningup/rl_intro.html?utm_source=chatgpt.com "Part 1: Key Concepts in RL — Spinning Up documentation"))

---

## 9.2 轨迹分布与目标函数

强化学习目标常写为轨迹分布下的期望：
$$
J(\pi)
=
\mathbb E_{\tau\sim p_\pi}  
[R(\tau)].  
$$
其中：
$$
R(\tau)
=
\sum_{t=0}^{T-1}\gamma^tR_{t+1}  
$$
或无限时域：
$$
R(\tau)
=
\sum_{t=0}^{\infty}\gamma^tR_{t+1}.  
$$

策略优化本质上是改变 $\pi$，从而改变轨迹分布 $p_\pi(\tau)$，最终改变期望回报。

---

# 10. 折扣状态访问分布 / discounted state visitation distribution

这是策略梯度和折扣 MDP 中极其重要的分布。

---

## 10.1 **未归一化折扣状态访问权重**

定义：
$$
d_{\mu_0,\gamma}^\pi(s)
=
\sum_{t=0}^{\infty}  
\gamma^t  
\Pr_\pi(S_t=s\mid S_0\sim\mu_0).  
$$
它表示：从初始分布 $\mu_0$ 出发，遵循策略 $\pi$，状态 $s$ 在整个未来中被访问的折扣累计频率。

Sutton 等人的策略梯度论文在指定起始状态形式下也定义了类似的 $d^\pi(s)$：从 $s_0$ 出发并按策略 $\pi$ 运行时，遇到状态的折扣加权。

---

## 10.2 它通常不是概率分布

计算总质量：
$$
\sum_s d_{\mu_0,\gamma}^\pi(s)
=
\sum_s\sum_{t=0}^{\infty}  
\gamma^t  
\Pr(S_t=s).  
$$
交换求和：
$$
=\sum_{t=0}^{\infty}\gamma^t  
\sum_s\Pr(S_t=s).  
$$
因为：
$$
\sum_s\Pr(S_t=s)=1,  
$$
所以：
$$
\sum_s d_{\mu_0,\gamma}^\pi(s)
=
 \sum_{t=0}^{\infty}\gamma^t
=
\frac{1}{1-\gamma}.  
$$
因此未归一化折扣访问权重不是概率分布。

---

## 10.3 **归一化折扣状态分布**

定义：
$$
\bar d_{\mu_0,\gamma}^\pi(s)
=
(1-\gamma)d_{\mu_0,\gamma}^\pi(s).  
$$

则：
$$
\sum_s\bar d_{\mu_0,\gamma}^\pi(s)=1.  
$$

因此：
$$
\bar d_{\mu_0,\gamma}^\pi  
$$
是真正的概率分布。

==一个有用解释是：先随机采样时间 $T$，其中：==
$$
\Pr(T=t)=(1-\gamma)\gamma^t,  
$$
然后观察 $S_T$。则：
$$
\Pr(S_T=s)
=
\bar d_{\mu_0,\gamma}^\pi(s).  
$$

---

# 11. 折扣状态-动作占用度量 / occupancy measure

## 11.1 未归一化状态-动作 occupancy

定义：
$$
\rho_{\mu_0,\gamma}^\pi(s,a)
=
\sum_{t=0}^{\infty}  
\gamma^t  
\Pr_\pi(S_t=s,A_t=a).  
$$
由于：
$$
\Pr(S_t=s,A_t=a)
=
\Pr(S_t=s)\pi(a\mid s),  
$$
所以：
$$
\rho_{\mu_0,\gamma}^\pi(s,a)
=
d_{\mu_0,\gamma}^\pi(s)\pi(a\mid s).  
$$
该量表示状态-动作对 $(s,a)$ 被访问的折扣累计次数。

**有论文和课程讲义将 occupancy measure 解释为状态-动作对在轨迹中被访问的期望折扣次数；相关强化学习理论资料也强调 occupancy measure 是 MDP 线性规划形式中的关键对象。**([Proceedings of Machine Learning Research](https://proceedings.mlr.press/v202/laroche23a/laroche23a.pdf?utm_source=chatgpt.com "On the Occupancy Measure of Non-Markovian Policies in ..."))(https://www.cwi.nl/documents/195233/presentation%20Gergely%20Neu.pdf?utm_source=chatgpt.com)

---

## 11.2 **归一化 occupancy**

定义：
$$
\bar\rho_{\mu_0,\gamma}^\pi(s,a)
=
(1-\gamma)\rho_{\mu_0,\gamma}^\pi(s,a).  
$$
则：
$$
\sum_{s,a}\bar\rho_{\mu_0,\gamma}^\pi(s,a)=1.  
$$
因此归一化 occupancy 是状态-动作概率分布。

---

## 11.3 折扣回报目标的 occupancy 表达

折扣目标为：
$$
J(\pi)
=
\mathbb E_\pi  
\left[  
\sum_{t=0}^{\infty}\gamma^t r(S_t,A_t)  
\right].  
$$
展开：
$$
J(\pi)
=
\sum_{t=0}^{\infty}\gamma^t  
\sum_s\Pr(S_t=s)  
\sum_a\pi(a\mid s)r(s,a).  
$$
整理：
$$
J(\pi)
=
\sum_s d_{\mu_0,\gamma}^\pi(s)  
\sum_a\pi(a\mid s)r(s,a).  
$$
再写为状态-动作 occupancy：
$$
J(\pi)
=
\sum_{s,a}  
\rho_{\mu_0,\gamma}^\pi(s,a)r(s,a).  
$$
若使用归一化 occupancy：
$$
J(\pi)
=
\frac{1}{1-\gamma}  
\sum_{s,a}  
\bar\rho_{\mu_0,\gamma}^\pi(s,a)r(s,a).  
$$
因此，策略的性能可以理解为：状态-动作访问分布下的奖励期望。

---

## 11.4 occupancy 的 Bellman flow constraint

未归一化折扣 occupancy 满足流守恒方程。

先定义状态 occupancy：
$$
d^\pi(s)=\sum_a\rho^\pi(s,a).  
$$
有：
$$
d^\pi(s)
=
\mu_0(s)  
+  
\gamma  
\sum_{s',a'}  
\rho^\pi(s',a')P(s\mid s',a').  
$$
对应状态-动作 occupancy：
$$
\rho^\pi(s,a)
=
\pi(a\mid s)  
\left[  
\mu_0(s)  
+  
\gamma  
\sum_{s',a'}  
\rho^\pi(s',a')P(s\mid s',a')  
\right].  
$$
这个式子表达：访问状态 $s$ 的总流量来自两部分：
$$
\text{初始流入}  
\quad+\quad  
\text{从前一状态动作经环境转移流入}.  
$$
**MDP 的线性规划形式正是基于这种 occupancy flow constraint；相关资料中也将 occupancy measure 与 Bellman flow constraints 联系起来。**([CWI](https://www.cwi.nl/documents/195233/presentation%20Gergely%20Neu.pdf?utm_source=chatgpt.com "linear programming"))

---

# 12. 平均奖励 MDP 中的平稳状态分布

在 continuing task 或平均奖励设定中，经常使用平稳状态分布。

---

## 12.1 策略诱导的平稳状态分布

给定策略 $\pi$，有转移矩阵：
$$
P_\pi(s'\mid s)
=
\sum_a\pi(a\mid s)P(s'\mid s,a).  
$$
若存在：
$$
d^\pi=d^\pi P_\pi,  
$$
即：
$$
d^\pi(s')
=
\sum_s d^\pi(s)  
\sum_a\pi(a\mid s)P(s'\mid s,a),  
$$
则 $d^\pi$ 是策略 $\pi$ 下的平稳状态分布。

---

## 12.2 平均奖励表达式

平均奖励定义为：
$$
\rho(\pi)
=
\lim_{T\to\infty}  
\frac{1}{T}  
\mathbb E_\pi  
\left[  
\sum_{t=0}^{T-1}R_{t+1}  
\right].  
$$
**若平稳分布存在且与初始状态无关**，则：

$$
\rho(\pi)
=
\sum_s d^\pi(s)  
\sum_a\pi(a\mid s)r(s,a).  
$$
Sutton 等人的策略梯度论文在 average-reward formulation 中正是用该式表示策略性能，并假设平稳状态分布存在且与初始状态无关。

---

## 12.3 平稳状态-动作分布

定义：

$$
\rho^\pi(s,a)
=
d^\pi(s)\pi(a\mid s).  
$$

则：

$$
\rho(\pi)
=
\sum_{s,a}\rho^\pi(s,a)r(s,a).  
$$

注意符号冲突：有些文献用 $\rho^\pi$ 表示平均奖励，有些文献用 $\rho^\pi(s,a)$ 表示 occupancy。阅读时必须依赖上下文区分。

---

# 13. 有限 horizon MDP 中的分布

有限 horizon MDP 中，时间 $t$ 显式重要。

---

## 13.1 时间依赖状态分布

有限 horizon 中通常使用：

$$
\mu_t^\pi(s)=\Pr(S_t=s).  
$$
不同时间步分布不同：

$$
\mu_0^\pi,\mu_1^\pi,\ldots,\mu_H^\pi.  
$$

---

## 13.2 时间依赖策略

策略可能依赖时间：
$$
\pi_t(a\mid s).  
$$
此时转移为：
$$
P_{\pi_t}(s'\mid s)
=
\sum_a\pi_t(a\mid s)P(s'\mid s,a).  
$$
状态分布递推：
$$
\mu_{t+1}(s')
=
\sum_s\mu_t(s)  
\sum_a\pi_t(a\mid s)P(s'\mid s,a).  
$$
---

## 13.3 有限 horizon occupancy

定义时间累计 occupancy：

$$
\rho_H^\pi(s,a)
=
\sum_{t=0}^{H-1}  
\Pr(S_t=s,A_t=a).  
$$
若归一化：
$$
\bar\rho_H^\pi(s,a)
=
\frac{1}{H}  
\rho_H^\pi(s,a).  
$$

这表示在 horizon $H$ 内，平均每个时间步看到 $(s,a)$ 的概率。

---

# 14. 回报分布、价值函数、优势函数

---
## 14.1 回报分布
折扣回报：
$$
G_t
=
\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}.  
$$
因为未来奖励随机，$G_t$ 有条件分布：
$$
\mathcal L(G_t\mid S_t=s),  
$$
$$
\mathcal L(G_t\mid S_t=s,A_t=a).  
$$
---
## 14.2 状态价值函数是条件期望
$$
V^\pi(s)
=
\mathbb E_\pi[G_t\mid S_t=s].  
$$
因此：
$$
V^\pi(s)  
$$
是回报分布
$$
G_t\mid S_t=s  
$$
的均值。

---
## 14.3 动作价值函数是条件期望

$$
Q^\pi(s,a)
=
\mathbb E_\pi[G_t\mid S_t=s,A_t=a].  
$$
因此：
$$
Q^\pi(s,a)  
$$
是回报分布
$$
G_t\mid S_t=s,A_t=a  
$$
的均值。

---
## 14.4 优势函数

$$
A^\pi(s,a)
=
Q^\pi(s,a)-V^\pi(s).  
$$
它衡量动作 $a$ 在状态 $s$ 下相对于当前策略平均动作水平的优势。

按动作分布取期望：
$$
\sum_a\pi(a\mid s)A^\pi(s,a)=0.  
$$

---
# 15. Bellman 方程中的分布

Bellman 期望方程：
$$
V^\pi(s)
=
\sum_a\pi(a\mid s)  
\sum_{s',r}  
p(s',r\mid s,a)  
\left[  
r+\gamma V^\pi(s')  
\right].  
$$
这个式子中包含**两类分布**：
$$
a\sim\pi(\cdot\mid s),  
$$
$$
(s',r)\sim p(\cdot,\cdot\mid s,a).  
$$
**因此 Bellman expectation 是对动作、下一状态和奖励的条件期望。**
动作价值函数：
$$
Q^\pi(s,a)
=
\sum_{s',r}  
p(s',r\mid s,a)  
\left[  
r+\gamma\sum_{a'}\pi(a'\mid s')Q^\pi(s',a')  
\right].  
$$
这里还包含下一状态下的动作分布：
$$
a'\sim\pi(\cdot\mid s').  
$$
---
# 16. 最优性方程中的分布

最优 Bellman 方程：
$$
V^*(s)
=
\max_a  
\sum_{s',r}  
p(s',r\mid s,a)  
\left[  
r+\gamma V^*(s')  
\right].  
$$
这里对下一状态和奖励仍然取期望，但动作不再对策略分布平均，而是取最大：
$$
\max_a.  
$$
若最优策略是随机策略，也可以存在：
$$
\pi^*(a\mid s)  
$$
**但标准 fully observable discounted finite MDP 中通常存在确定性最优 stationary policy。**

---

# 17. 策略梯度中的分布

策略梯度定理可写为：
$$
\nabla_\theta J(\theta)
=
\sum_s d^\pi(s)  
\sum_a  
\nabla_\theta\pi_\theta(a\mid s)  
Q^\pi(s,a).  
$$
也可写为：
$$
\nabla_\theta J(\theta)
=
\mathbb E_{S\sim d^\pi,\ A\sim\pi_\theta}  
\left[  
\nabla_\theta\log\pi_\theta(A\mid S)  
Q^\pi(S,A)  
\right].  
$$
Sutton 等人的策略梯度论文强调：该梯度表达式中没有显式出现 $\nabla_\theta d^\pi(s)$，这使得策略梯度可以通过采样估计。
这里的 $d^\pi$ 取决于目标形式：

- 平均奖励形式：$d^\pi$ 是平稳状态分布；
  
- 折扣起始状态形式：$d^\pi$ 是折扣状态访问权重；
  
- finite horizon 形式：通常使用时间依赖分布 $\mu_t^\pi$。
  

---

# 18. Baseline 分布与优势估计

策略梯度中可以减去任意只依赖状态的 baseline：

$$
b(s).  
$$

因为：
$$
\sum_a\nabla_\theta\pi_\theta(a\mid s)b(s)
=
 b(s)\nabla_\theta\sum_a\pi_\theta(a\mid s)
=
 b(s)\nabla_\theta 1
$$

因此：
$$
\nabla_\theta J(\theta)
=
\mathbb E_{d^\pi,\pi}  
\left[  
\nabla_\theta\log\pi_\theta(A\mid S)  
(Q^\pi(S,A)-b(S))  
\right].  
$$
令：
$$
b(s)=V^\pi(s),  
$$
得到优势形式：
$$
\nabla_\theta J(\theta)
=
\mathbb E_{d^\pi,\pi}  
\left[  
\nabla_\theta\log\pi_\theta(A\mid S)  
A^\pi(S,A)  
\right].  
$$
这说明 baseline 不改变期望梯度，但会改变采样估计方差。

Spinning Up 的策略优化介绍也从策略梯度形式出发，讨论了如何在策略梯度表达式中加入有用项以降低方差。([Spinning Up](https://spinningup.openai.com/en/latest/spinningup/rl_intro3.html?utm_source=chatgpt.com "Part 3: Intro to Policy Optimization - Spinning Up in Deep RL!"))

---

# 19. On-policy 数据分布

## 19.1 定义

on-policy 表示数据由当前正在学习的策略产生：
$$
A_t\sim\pi_\theta(\cdot\mid S_t).  
$$
此时数据分布为：
$$
p_{\pi_\theta}(s,a,r,s')
=
d^{\pi_\theta}(s)  
\pi_\theta(a\mid s)  
p(s',r\mid s,a).  
$$
如果是时间 $t$：
$$
p_t^{\pi_\theta}(s,a,r,s')
\mu_t^{\pi_\theta}(s)  
\pi_\theta(a\mid s)  
p(s',r\mid s,a).  
$$
---

## 19.2 On-policy 的意义

on-policy 的目标策略和数据生成策略相同：
$$
\text{behavior policy}=\text{target policy}.  
$$
因此，不需要动作分布校正。

REINFORCE、A2C、PPO 通常以接近 on-policy 的方式使用采样数据。

---

# 20. Off-policy 数据分布

## 20.1 行为策略分布

off-policy 中，数据由行为策略 $b$ 产生：
$$
A_t\sim b(\cdot\mid S_t).  
$$
但要学习目标策略 $\pi$。

数据状态-动作分布为：
$$
d^b(s)b(a\mid s).  
$$
目标状态-动作分布为：
$$
d^\pi(s)\pi(a\mid s).  
$$
一般：
$$
d^b(s)b(a\mid s)  
\neq  
d^\pi(s)\pi(a\mid s).  
$$
---

## 20.2 动作重要性采样比率

为了校正动作分布差异，常用：
$$
\rho_t
=
\frac{\pi(A_t\mid S_t)}  
{b(A_t\mid S_t)}.  
$$
多步 off-policy 回报中可能出现乘积：
$$
\prod_{k=t}^{t+n}  
\frac{\pi(A_k\mid S_k)}  
{b(A_k\mid S_k)}.  
$$
---

## 20.3 更深的难点：状态分布也不同

即使通过重要性采样校正动作概率，也仍然存在状态分布差异：
$$
d^b(s)\neq d^\pi(s).  
$$
**行为策略访问不到的状态，目标策略可能需要访问；行为策略频繁访问的状态，目标策略可能很少访问。这就是 off-policy 学习困难的根本来源之一。**

---

# 21. 经验回放分布

## 21.1 Replay buffer 的经验测度

经验回放缓冲区：
$$
\mathcal D
=
\{(s_i,a_i,r_i,s_i')\}_{i=1}^N.  
$$
若均匀采样，经验分布为：
$$
\hat p_{\mathcal D}(s,a,r,s')
=
\frac{1}{N}  
\sum_{i=1}^N  
\mathbf 1\{(s_i,a_i,r_i,s_i')=(s,a,r,s')\}.  
$$
连续空间中这是经验测度。

---

## 21.2 **Replay buffer 是历史策略混合分布**

训练过程中策略变化：

$$
\pi_{\theta_1},\pi_{\theta_2},\ldots,\pi_{\theta_K}.  
$$

**buffer 数据通常来自多个历史策略，所以**：
$$
p_{\mathcal D}  
\approx  
\sum_{k=1}^K\alpha_k p_{\pi_{\theta_k}}.  
$$
**因此 replay buffer 分布既不是当前策略分布，也不是单一行为策略分布，而是历史数据混合分布。**

---

## 21.3 Prioritized replay 分布

若使用 prioritized replay，样本 $i$ 的采样概率可能为：

$$
p(i)
=
\frac{priority_i^\alpha}  
{\sum_j priority_j^\alpha}.  
$$
**这会改变训练分布，使其偏向 TD error 大的样本。此时需要重要性采样权重校正偏差。**

---
# 22. 离线 RL 数据集分布

离线 RL 中只有固定数据集：
$$
\mathcal D.  
$$
假设数据由行为策略 $\beta$ 生成，则数据分布为：
$$
d^\beta(s)\beta(a\mid s).  
$$
目标策略 $\pi$ 的分布为：
$$
d^\pi(s)\pi(a\mid s).  
$$
离线 RL 的核心问题是：
$$
d^\pi(s)\pi(a\mid s)  
$$
可能落在数据集支持之外。

即：
$$
\pi(a\mid s)>0,  
\quad  
\beta(a\mid s)\approx 0.  
$$
此时无法可靠估计该动作的价值，容易产生 extrapolation error。

---

# 23. 函数近似中的训练分布与投影分布

当用函数近似估计价值函数时，通常最小化加权误差：
$$
L(w)
=
\sum_s \nu(s)  
\left[  
V_w(s)-V^\pi(s)  
\right]^2.  
$$
这里：
$$
\nu(s)  
$$
是训练分布或投影分布。

不同的 $\nu$ 对应不同意义下的“最佳近似”。

若：
$$
\nu(s)=d^\pi(s),  
$$
则更重视当前策略经常访问的状态。

若：
$$
\nu(s)=\mu_0(s),  
$$
则更重视初始状态附近的状态。

若：
$$
\nu(s)=\hat d_{\mathcal D}(s),  
$$
则更重视数据集中出现频繁的状态。

---

# 24. 投影 Bellman 方程中的分布

线性函数近似：
$$
V_w=\Phi w.  
$$

**Bellman 更新：**
$$
T^\pi V_w  
$$
**通常不在函数空间(表征维度小于真实特征维度)**
$$
\{V_w:w\in\mathbb R^d\}  
$$
内，因此需要投影：
$$
\Pi_\nu T^\pi V_w.  
$$
这里的投影由加权内积定义：
$$
\langle f,g\rangle_\nu
=
\sum_s\nu(s)f(s)g(s).  
$$
因此，projected Bellman equation：
$$
V_w=\Pi_\nu T^\pi V_w  
$$
依赖投影分布 $\nu$。

同一个函数空间、同一个 Bellman operator，在不同 (\nu) 下投影结果可能不同。

---

# 25. 熵正则中的分布

策略熵：
$$
\mathcal H(\pi(\cdot\mid s))
=
-\sum_a\pi(a\mid s)\log\pi(a\mid s).  
$$
整体熵正则项通常为：
$$
\mathbb E_{S\sim d^\pi}  
[  
\mathcal H(\pi(\cdot\mid S))  
].  
$$
展开：
$$
-\sum_s d^\pi(s)  
\sum_a\pi(a\mid s)\log\pi(a\mid s).  
$$
所以熵正则依赖：
$$
d^\pi(s)  
$$
和
$$
\pi(a\mid s).  
$$
---

# 26. 最大熵 RL 中的轨迹分布

最大熵 RL 目标常写成：
$$
J(\pi)
=
\mathbb E_{\tau\sim p_\pi}  
\left[  
\sum_t  
\gamma^t  
\left(  
R(S_t,A_t)  
+  
\alpha \mathcal H(\pi(\cdot\mid S_t))  
\right)  
\right].  
$$

这里仍然是对轨迹分布 $p_\pi(\tau)$ 求期望，只是回报函数中加入了熵项。

---

# 27. POMDP 中的观测分布和 belief 分布

虽然问题主要是 MDP，但强化学习中经常遇到部分可观测情形。

---

## 27.1 观测分布

真实状态 $S_t$ 不可完全观测，只能得到观测：

$$
O_t\sim O(\cdot\mid S_t).  
$$

观测核：

$$
O(o\mid s)
=
\Pr(O_t=o\mid S_t=s).  
$$

策略可能依赖观测：

$$
\pi(a\mid o),  
$$

也可能依赖历史：

$$
\pi(a_t\mid o_0,a_0,\ldots,o_t).  
$$
Spinning Up 也区分 state 与 observation：state 是世界完整状态，observation 可以只是部分信息。([Spinning Up](https://spinningup.openai.com/en/latest/spinningup/rl_intro.html?utm_source=chatgpt.com "Part 1: Key Concepts in RL — Spinning Up documentation"))

---

## 27.2 belief 分布

belief state 是隐藏状态的后验分布：

$$
b_t(s)
=
\Pr(S_t=s\mid O_0,A_0,\ldots,O_t).  
$$
它本身就是一个概率分布。

POMDP 可转化为 belief-MDP，其“状态”是 belief 分布 $b_t$。

---

# 28. 多智能体强化学习中的分布

在 Markov game 中，有多个智能体：

$$
i=1,\ldots,n.  
$$
联合动作为：

$$
\mathbf A_t=(A_t^1,\ldots,A_t^n).  
$$

若各智能体条件独立决策：

$$
\boldsymbol\pi(\mathbf a\mid s)
=
\prod_{i=1}^n\pi_i(a_i\mid o_i).  
$$
联合状态-动作分布为：
$$
d^{\boldsymbol\pi}(s)  
\boldsymbol\pi(\mathbf a\mid s).  
$$
多智能体学习中的非平稳性来自：
$$
\pi_i  
$$
不断变化，从而其他智能体看到的环境分布也不断变化。

---

# 29. 分布偏移：强化学习的核心困难

强化学习中的分布偏移包括：
## 29.1 策略更新导致状态分布变化
$$
d^{\pi_{\text{old}}}(s)  
\neq  
d^{\pi_{\text{new}}}(s).  
$$
这使得旧数据不一定适用于新策略。

---

## 29.2 行为策略与目标策略不一致
$$
d^b(s)b(a\mid s)  
\neq  
d^\pi(s)\pi(a\mid s).  
$$
这是 off-policy 学习的基本分布错配。

---

## 29.3 训练分布与评估分布不一致
$$
\mu_0^{\text{train}}  
\neq  
\mu_0^{\text{eval}}.  
$$
训练时从一种初始状态分布开始，测试时从另一种分布开始，可能导致泛化问题。

---

## 29.4 离线数据集分布与目标策略分布不一致
$$
p_{\mathcal D}(s,a)  
\neq  
d^\pi(s)\pi(a\mid s).  
$$
若目标策略选择数据集中罕见动作，则价值估计不可靠。

---

# 30. 主要分布总表

| 分布名称           | 记号                      |                  所属模型 | 是否依赖策略 | 是否概率分布 | 作用                      |
| ------------------ | ------------------------- | ------------------------: | -----------: | -----------: | ------------------------- |
| 初始状态分布       | $\mu_0(s)$                |             MP/MRP/MDP/RL |           否 |           是 | 轨迹起点                  |
| 转移分布           | $P(s'\mid s)$             |                    MP/MRP |           否 |           是 | 无动作状态转移            |
| MDP 转移分布       | $P(s'\mid s,a)$           |                    MDP/RL |           否 |           是 | 状态动作后的环境转移      |
| 奖励分布           | $p(r\mid s,a)$            |                    MDP/RL |           否 |           是 | 奖励随机性                |
| 策略分布           | $\pi(a\mid s)$            |                    MDP/RL |           是 |           是 | 动作选择                  |
| 策略诱导转移       | $P_\pi(s'\mid s)$         |                    MDP/RL |           是 |           是 | 固定策略后的 Markov chain |
| 时间状态分布       | $\mu_t^\pi(s)$            |                    MP/MDP |           是 |           是 | 第 $t$ 步状态分布         |
| 时间状态动作分布   | $\nu_t^\pi(s,a)$          |                    MDP/RL |           是 |           是 | 第 $t$ 步状态-动作分布    |
| 轨迹分布           | $p_\pi(\tau)$             |                        RL |           是 |           是 | 整条轨迹概率              |
| 折扣状态访问权重   | $d_{\gamma}^\pi(s)$       |                        RL |           是 |       通常否 | 折扣累计访问频率          |
| 归一化折扣状态分布 | $\bar d_\gamma^\pi(s)$    |                        RL |           是 |           是 | 几何随机时间下状态分布    |
| 折扣 occupancy     | $\rho_\gamma^\pi(s,a)$    |                    RL/MDP |           是 |       通常否 | 状态-动作累计访问         |
| 平稳状态分布       | $d^\pi(s)$                | Markov chain/平均奖励 MDP |           是 |           是 | 长期稳定访问比例          |
| 平稳状态动作分布   | $d^\pi(s)\pi(a\mid s)$    |              平均奖励 MDP |           是 |           是 | 长期状态动作比例          |
| 经验分布           | $\hat p_{\mathcal D}$     |                   RL 数据 |         间接 |           是 | 数据集采样分布            |
| replay buffer 分布 | $p_{\mathcal B}$          |             off-policy RL |         间接 |           是 | 经验回放采样              |
| 行为策略分布       | $b(a\mid s)$              |             off-policy RL |           是 |           是 | 数据生成策略              |
| 目标策略分布       | $\pi(a\mid s)$            |             off-policy RL |           是 |           是 | 学习目标策略              |
| 回报分布           | $\mathcal L(G_t\mid s,a)$ |                        RL |           是 |           是 | 分布式 RL、风险敏感 RL    |
| belief 分布        | $b_t(s)$                  |                     POMDP |           是 |           是 | 隐状态后验                |

---

# 31. 各种分布之间的生成关系

最核心的生成过程是：

$$
S_0\sim\mu_0.  
$$

然后每一步：
$$
A_t\sim\pi(\cdot\mid S_t),  
$$

$$
(S_{t+1},R_{t+1})\sim p(\cdot,\cdot\mid S_t,A_t).  
$$

由此产生轨迹分布：

$$
p_\pi(\tau)
=
\mu_0(s_0)  
\prod_t  
\pi(a_t\mid s_t)  
p(s_{t+1},r_{t+1}\mid s_t,a_t).  
$$


从轨迹分布可边缘化得到：

$$
\mu_t^\pi(s)=\Pr(S_t=s),  
$$
$$
\nu_t^\pi(s,a)=\Pr(S_t=s,A_t=a),  
$$
$$
d_\gamma^\pi(s)=\sum_t\gamma^t\Pr(S_t=s),  
$$
$$
\rho_\gamma^\pi(s,a)=\sum_t\gamma^t\Pr(S_t=s,A_t=a).  
$$
若固定策略诱导的 Markov chain 满足适当条件，则存在平稳分布：

$$
d^\pi=d^\pi P_\pi.  
$$

---

# 32. 最容易混淆的区别

## 32.1 $P(s'\mid s,a)$ 不是 $d^\pi(s)$

$$
P(s'\mid s,a)  
$$

是环境的一步条件转移分布。

$$
d^\pi(s)  
$$

是策略长期访问状态的分布或权重。

前者是局部条件分布，后者是全局访问分布。

---

## 32.2 $\mu_t^\pi(s)$ 不是平稳分布

$$
\mu_t^\pi(s)=\Pr(S_t=s)  
$$

是第 $t$ 步边缘分布。

$$
d^\pi(s)  
$$

若表示平稳分布，则满足：


$$
d^\pi=d^\pi P_\pi.  
$$

只有当 $t\to\infty$ 且收敛条件成立时：

$$
\mu_t^\pi\to d^\pi.  
$$


---

## 32.3 折扣访问分布不是平稳分布

折扣访问权重：
$$
d_\gamma^\pi(s)
=
\sum_t\gamma^t\Pr(S_t=s)  
$$
强调从初始分布出发后的折扣累计访问。

平稳分布：
$$
d^\pi=d^\pi P_\pi  
$$
强调长期稳定后的状态比例。

它们一般不相等。

---

## 32.4 经验分布不是目标策略分布

数据集分布：
$$
p_{\mathcal D}(s,a)  
$$
来自过去采样或外部数据。

目标策略分布：
$$
d^\pi(s)\pi(a\mid s)  
$$
来自当前想要学习或评估的策略。

离线 RL 和 off-policy RL 的困难正是：
$$
p_{\mathcal D}(s,a)  
\neq  
d^\pi(s)\pi(a\mid s).  
$$
---

# 33. 最核心总结

强化学习、马尔可夫过程、MDP 中的分布可以按层次理解：
$$
\boxed{  
\mu_0  
\text{ 决定从哪里开始。}  
}  
$$
$$
\boxed{  
P(s'\mid s)  
\text{ 或 }P(s'\mid s,a)  
\text{ 决定状态如何转移。}  
}  
$$
$$
\boxed{  
\pi(a\mid s)  
\text{ 决定智能体如何选动作。}  
}  
$$
$$
\boxed{  
p_\pi(\tau)  
\text{ 是初始分布、策略、环境共同诱导的轨迹分布。}  
}  
$$
$$
\boxed{  
\mu_t^\pi  
\text{ 是第 }t\text{ 步状态分布。}  
}  
$$
$$
\boxed{  
d_\gamma^\pi,\rho_\gamma^\pi  
\text{ 是折扣累计访问分布或占用度量。}  
}  
$$
$$
\boxed{  
d^\pi  
\text{ 在平均奖励问题中通常指平稳状态分布。}  
}  
$$
$$
\boxed{  
p_{\mathcal D}  
\text{ 是实际训练数据分布，通常不同于当前策略诱导分布。}  
}  
$$
一句话概括：**强化学习中的所有理论和算法几乎都在处理“由哪个机制产生的数据分布”与“目标函数真正需要的分布”之间的关系。分布匹配时，估计更直接；分布不匹配时，就需要重要性采样、off-policy correction、保守约束、重加权、trust region 或其他稳定化机制。**