下面给出一个尽量系统、严谨的解释。核心结论先放在前面：

$$
\boxed{  
\text{概率测度是“真实随机机制”在可测集合上的概率赋值；}  
}  
$$
$$
\boxed{  
\text{经验测度是“有限样本”诱导出来的随机概率测度。}  
}  
$$
若真实分布为 $P$，样本为
$$
X_1,\ldots,X_n\sim P,
$$
则经验测度为：

$$
P_n
=
\frac1n\sum_{i=1}^n\delta_{X_i}.
$$

它把每个观测样本点 $X_i$ 赋予质量 $1/n$。因此，经验测度是用有限样本构造出来的、对真实概率测度 $P$ 的离散近似。经验过程文献也常用同样记号：对集合 $A$，$P_n(A)=n^{-1}\sum_{i=1}^n\mathbf 1_A(X_i)$；对函数 $f$，$P_n f=n^{-1}\sum_{i=1}^n f(X_i)$。([Statistical Consulting Division](https://sites.stat.washington.edu/jaw/RESEARCH/TALKS/BocconiSS/emp-prc-bk-big2.pdf?utm_source=chatgpt.com "[PDF] EMPIRICAL PROCESSES: Theory and Applications"))

---

# 1. 为什么需要“测度”语言

在离散样本空间中，概率可以简单理解为：

$$
\Pr(X=x_i)=p_i.  
$$

例如掷骰子：
$$
\Pr(X=1)=\cdots=\Pr(X=6)=\frac16.  
$$

但在连续空间中，例如：
$$
X\sim \mathcal N(0,1),  
$$

有：

$$
\Pr(X=x)=0,\qquad \forall x\in\mathbb R.  
$$
此时若只讨论单点概率，就无法描述：

$$
\Pr(X\in[0,1]).  
$$

**因此，概率论的严格对象不是“给每个点赋概率”**，而是：

$$
\boxed{  
\text{给合适的集合赋概率。}  
}  
$$

这些“合适的集合”构成 $\sigma$-代数；概率测度就是定义在 $\sigma$-代数上的集合函数。MIT OCW 的概率论材料也将概率空间建立在样本空间、事件集合即 $\sigma$-代数，以及概率测度三者之上。([MIT OpenCourseWare](https://ocw.mit.edu/courses/18-175-theory-of-probability-spring-2014/pages/lecture-slides/?utm_source=chatgpt.com "Lecture Slides | Theory of Probability | Mathematics"))

---

# 2. 可测空间：$(\Omega,\mathcal F)$

## 2.1 样本空间 $\Omega$

样本空间 $\Omega$ 是所有基本随机结果的集合。例如：

掷骰子：

$$
\Omega={1,2,3,4,5,6}.  
$$

抛硬币无限次：

$$
\Omega={H,T}^{\mathbb N}.  
$$


连续随机变量：

$$
\Omega=\mathbb R.  
$$


强化学习轨迹空间可写为：
$$
\Omega=  
(\mathcal S\times\mathcal A\times\mathbb R)^{\mathbb N}.  
$$

但仅有 $\Omega$ 还不够。因为并非任意子集都一定适合赋予概率，尤其在不可数空间中需要避免不可测集合问题。

---

## 2.2 $\sigma$-代数 $\mathcal F$

$\mathcal F$ 是 $\Omega$ 的某些子集构成的集合族，称为 $\sigma$-代数。它满足：

1. 全空间属于它：
   

$$
\Omega\in\mathcal F.  
$$


2. 对补集封闭：
   

$$
A\in\mathcal F  
\quad\Longrightarrow\quad  
A^c\in\mathcal F.  
$$


3. 对可数并封闭：
   


$$
A_1,A_2,\ldots\in\mathcal F  
\quad\Longrightarrow\quad  
\bigcup_{i=1}^{\infty}A_i\in\mathcal F.  
$$


由这些性质可推出对可数交也封闭：

$$
\bigcap_{i=1}^{\infty}A_i\in\mathcal F.  
$$


$\mathcal F$ 中的元素称为事件。概率测度只能对这些事件赋值。ETH 随机系统讲义也以 $(\Omega,\mathcal F)$ 为基础定义概率测度 $P:\mathcal F\to[0,1]$。([ETH Zürich](https://ethz.ch/content/dam/ethz/special-interest/mavt/dynamic-systems-n-control/idsc-dam/Lectures/Stochastic-Systems/Probability.pdf?utm_source=chatgpt.com "Probability Theory"))

---

## 2.3 Borel $\sigma$-代数

在实数空间 $\mathbb R$ 上，常用的是 Borel $\sigma$-代数：

$$
\mathcal B(\mathbb R).  
$$
它由所有开区间生成，例如：

$$
(a,b),\quad (-\infty,x],\quad [a,b].  
$$
对于一般拓扑空间或度量空间 $\mathcal X$，Borel $\sigma$-代数记为：


$$
\mathcal B(\mathcal X).  
$$


概率论和统计学习中经常把样本空间写成：

$$
(\mathcal X,\mathcal B(\mathcal X)).  
$$


---

# 3. 测度与概率测度

## 3.1 测度

在可测空间 $(\Omega,\mathcal F)$ 上，一个测度是函数：
$$
\mu:\mathcal F\to[0,\infty].  
$$

它满足：

1. 空集测度为零：
   

$$
\mu(\varnothing)=0.  
$$


2. 非负性：
   


$$
\mu(A)\ge 0.  
$$


3. 可数可加性：若 $A_1,A_2,\ldots$ 两两不交，则
   


$$
\mu\left(\bigcup_{i=1}^{\infty}A_i\right)
=
\sum_{i=1}^{\infty}\mu(A_i).  
$$


测度可以理解为“大小”的抽象概念。长度、面积、体积、计数、概率都可以视为测度。

例如 Lebesgue 测度：


$$
\lambda([a,b])=b-a.  
$$


计数测度：

$$
\mu(A)=\#A.  
$$

---

## 3.2 概率测度

若测度 $P$ 还满足：


$$
P(\Omega)=1,  
$$


则 $P$ 称为概率测度。

因此，概率测度是总质量为 $1$ 的测度：


$$
P:\mathcal F\to[0,1].  
$$

它满足：


$$
P(\varnothing)=0,  
$$

$$
P(\Omega)=1,  
$$

$$
P\left(\bigcup_{i=1}^{\infty}A_i\right)
=
\sum_{i=1}^{\infty}P(A_i)  
$$

对于两两不交的 $A_i$。ETH 讲义给出的概率测度定义也包括 $P(\Omega)=1$、非负性和可数可加性。([ETH Zürich](https://ethz.ch/content/dam/ethz/special-interest/mavt/dynamic-systems-n-control/idsc-dam/Lectures/Stochastic-Systems/Probability.pdf?utm_source=chatgpt.com "Probability Theory"))

---

## 3.3 概率空间

三元组：


$$
(\Omega,\mathcal F,P)  
$$

称为概率空间。

其中：
$$
\Omega  
$$
是所有可能结果；
$$
\mathcal F  
$$
是可讨论概率的事件集合；
$$
P  
$$

是概率测度。

---

# 4. 概率测度的基本性质

由定义可以推出若干常用性质。

## 4.1 单调性

若：
$$
A\subseteq B,  
$$
则：
$$
P(A)\le P(B).  
$$
证明：
$$
B=A\cup(B\setminus A),  
$$
且二者不交，所以：
$$
P(B)=P(A)+P(B\setminus A)\ge P(A).  
$$

---

## 4.2 补集公式
$$
P(A^c)=1-P(A).  
$$
因为：
$$
A\cup A^c=\Omega,  
\qquad  
A\cap A^c=\varnothing.  
$$
所以：
$$
P(A)+P(A^c)=P(\Omega)=1.  
$$
---

## 4.3 有限可加性

若 $A\cap B=\varnothing$，则：
$$
P(A\cup B)=P(A)+P(B).  
$$
这是可数可加性的特例。

---

## 4.4 一般并集公式

若 $A,B\in\mathcal F$，不要求不交，则：
$$
P(A\cup B)=P(A)+P(B)-P(A\cap B).  
$$

---

## 4.5 连续性

若：
$$
A_1\subseteq A_2\subseteq\cdots,  
$$

则：
$$
P\left(\bigcup_{n=1}^{\infty}A_n\right)
=
\lim_{n\to\infty}P(A_n).  
$$

若：
$$
A_1\supseteq A_2\supseteq\cdots,  
$$


且 $P(A_1)<\infty$，则：

$$
P\left(\bigcap_{n=1}^{\infty}A_n\right)
=
\lim_{n\to\infty}P(A_n).  
$$

概率测度总质量有限，所以第二条总是可用。

---

# 5. 随机变量与分布：概率测度的推前

## 5.1 随机变量不是“随机的数”，而是可测映射

随机变量形式上是可测函数：
$$
X:(\Omega,\mathcal F)\to(\mathcal X,\mathcal A).  
$$

可测性意味着：
$$
X^{-1}(B)={\omega:X(\omega)\in B}\in\mathcal F,  
\qquad \forall B\in\mathcal A.  
$$
这样才能定义：
$$
\Pr(X\in B).  
$$
---

## 5.2 分布 / law / pushforward measure

随机变量 $X$ 的分布是 $\mathcal X$ 上的概率测度：
$$
P_X(B)
=
 P(X\in B)
=
P(X^{-1}(B)).  
$$
记作：
$$
P_X=P\circ X^{-1}.  
$$
这叫推前测度：
$$
X_\#P.  
$$
也就是说，原本概率测度 $P$ 定义在 $\Omega$ 上，但通过随机变量 $X$，可以诱导出 $\mathcal X$ 上的概率测度 $P_X$。

---

## 5.3 离散分布、连续分布、混合分布

概率测度比“概率质量函数”和“概率密度函数”更一般。

### 离散分布

若：
$$
P_X=\sum_i p_i\delta_{x_i},  
$$
则：
$$
P_X(A)=\sum_i p_i\mathbf 1_A(x_i).  
$$
### 连续分布

若存在密度 $p(x)$，则：
$$
P_X(A)=\int_A p(x),dx.  
$$
### 混合分布

例如：
$$
P_X=0.3\delta_0+0.7\mathcal N(0,1).  
$$

这种分布既有点质量，又有连续部分。概率测度可以统一处理这些情形。

---

# 6. Dirac 测度

## 6.1 定义

给定点 $x\in\mathcal X$，Dirac 测度定义为：

$$
\delta_x(A)
=
 \mathbf 1_A(x)
=
\begin{cases}  
1, & x\in A,\\  
0, & x\notin A.  
\end{cases}  
$$

它表示全部质量集中在点 $x$。

---

## 6.2 Dirac 测度的积分性质

对可测函数 $f$：

$$
\int f(u)\delta_x(du)=f(x).  
$$
这个性质非常重要，因为经验测度就是 Dirac 测度的平均。

---

# 7. 期望是对概率测度的积分

若 $X\sim P_X$，函数 $f$ 可积，则：
$$
\mathbb E[f(X)]
=
\int_{\mathcal X} f(x),P_X(dx).  
$$

如果是离散分布：
$$
\mathbb E[f(X)]
=
\sum_x f(x)P_X({x}).  
$$
如果有密度：
$$
\mathbb E[f(X)]
=
\int f(x)p(x),dx.  
$$
因此，期望不是独立于测度的概念，而是对概率测度的积分。

---

# 8. 经验测度的定义

## 8.1 样本设定

设：
$$
X_1,\ldots,X_n  
$$

是取值于可测空间 $(\mathcal X,\mathcal A)$ 的样本。

若样本独立同分布：

$$
X_i\overset{i.i.d.}{\sim}P,  
$$

则 $P$ 是真实概率测度，通常未知。

经验测度定义为：
$$
P_n
=
\frac1n\sum_{i=1}^n\delta_{X_i}.  
$$
对任意可测集合 $A\in\mathcal A$：

$$
P_n(A)
=
 \frac1n\sum_{i=1}^n\delta_{X_i}(A)
=
\frac1n\sum_{i=1}^n\mathbf 1_A(X_i).  
$$

这正是样本中落入集合 $A$ 的比例。经验过程讲义中也以该形式定义经验测度，并进一步定义 $P_n(f)=n^{-1}\sum_i f(X_i)$。([Statistical Consulting Division](https://sites.stat.washington.edu/jaw/RESEARCH/TALKS/BocconiSS/emp-prc-bk-big2.pdf?utm_source=chatgpt.com "[PDF] EMPIRICAL PROCESSES: Theory and Applications"))

---

## 8.2 经验测度是概率测度

对固定样本 $x_1,\ldots,x_n$，定义：

$$
P_n
=
\frac1n\sum_{i=1}^n\delta_{x_i}.  
$$

则：

$$
P_n(\mathcal X)
=
 \frac1n\sum_{i=1}^n\delta_{x_i}(\mathcal X)=
 \frac1n\sum_{i=1}^n1
$$

非负性显然成立。

若 $A_1,A_2,\ldots$ 两两不交，则：

$$
P_n\left(\bigcup_j A_j\right)
=
\frac1n\sum_{i=1}^n  
\mathbf 1_{\cup_j A_j}(x_i).  
$$

因为集合两两不交：
$$
\mathbf 1_{\cup_j A_j}(x_i)
=
\sum_j\mathbf 1_{A_j}(x_i).  
$$
所以：


$$
P_n\left(\bigcup_j A_j\right)
=
 \frac1n\sum_{i=1}^n  
\sum_j\mathbf 1_{A_j}(x_i)
=
 \sum_j  
\frac1n\sum_{i=1}^n\mathbf 1_{A_j}(x_i)
=
\sum_jP_n(A_j).  
$$

因此 $P_n$ 是概率测度。

---

# 9. 经验测度有两种视角

## 9.1 固定样本后的经验测度

若样本已经观测为：
$$
x_1,\ldots,x_n,  
$$
则：
$$
P_n=\frac1n\sum_{i=1}^n\delta_{x_i}  
$$
是一个确定的离散概率测度。

例如样本：
$$
x_1=2,\quad x_2=4,\quad x_3=4,\quad x_4=7.  
$$
则：
$$
P_n
=
\frac14\delta_2  
+  
\frac14\delta_4  
+  
\frac14\delta_4  
+  
\frac14\delta_7.  
$$
合并相同点：
$$
P_n
=
\frac14\delta_2  
+  
\frac12\delta_4  
+  
\frac14\delta_7.  
$$
因此：
$$
P_n({4})=\frac12.  
$$

---

## 9.2 抽样前的经验测度是随机测度

在抽样前：
$$
X_1,\ldots,X_n  
$$
仍然是随机变量，所以：
$$
P_n(A)
=
\frac1n\sum_{i=1}^n\mathbf 1_A(X_i)  
$$
也是随机变量。

因此：
$$
P_n  
$$
本身是一个随机概率测度，即取值于概率测度空间 $\mathcal P(\mathcal X)$ 的随机元素。经验测度的通用定义也强调它来自随机变量序列的某个实现，是概率论与统计中用于从观测相对频率估计真实分布的对象。([Wikipedia](https://en.wikipedia.org/wiki/Empirical_measure?utm_source=chatgpt.com "Empirical measure"))

---

# 10. 经验测度对函数的作用

对可测函数 $f:\mathcal X\to\mathbb R$，有：
$$
P_nf
=
\int f,dP_n.  
$$
代入 $P_n$：
$$
\int f(x)P_n(dx)
=
\int f(x)\left[  
\frac1n\sum_{i=1}^n\delta_{X_i}(dx)  
\right].  
$$
利用 Dirac 测度积分性质：
$$
P_nf
=
\frac1n\sum_{i=1}^n f(X_i).  
$$
而真实测度下：
$$
Pf
=
 \int fdP
=
\mathbb E[f(X)].  
$$
因此：
$$
P_nf  
$$
是期望
$$
Pf  
$$
的样本平均估计。

这就是经验风险最小化、Monte Carlo 估计、监督学习泛化理论和强化学习采样估计的共同基础。

---

# 11. 经验测度与经验分布函数

当：
$$
\mathcal X=\mathbb R  
$$
时，真实分布函数为：
$$
F(x)=P((-\infty,x]).  
$$
经验分布函数定义为：
$$
F_n(x)
=
 P_n((-\infty,x])
=
\frac1n\sum_{i=1}^n\mathbf 1\{X_i\le x\}.  
$$
这就是常见的 empirical CDF。

经验分布函数是经验测度在半直线集合
$$
(-\infty,x]  
$$
上的取值。

因此：
$$
\boxed{  
F_n(x)\text{ 是经验测度 }P_n\text{ 的一维分布函数表示。}  
}  
$$
经验分布函数通常是阶梯函数，在样本点处跳跃，每个样本贡献 $1/n$ 的跳跃；相关统计资料也将 eCDF 定义为样本中不超过 $x$ 的比例，并指出它是经验测度对应的分布函数。([Wikipedia](https://en.wikipedia.org/wiki/Empirical_distribution_function?utm_source=chatgpt.com "Empirical distribution function"))

---

# 12. 经验测度的基本统计性质

假设：
$$
X_1,\ldots,X_n\overset{i.i.d.}{\sim}P.  
$$
## 12.1 对固定集合 $A$，$P_n(A)$ 是样本比例

$$
P_n(A)=\frac1n\sum_{i=1}^n\mathbf 1_A(X_i).  
$$
其中：
$$
\mathbf 1_A(X_i)  
$$
是 Bernoulli 随机变量，参数为：
$$
P(A).  
$$
因此：
$$
nP_n(A)
=
\sum_{i=1}^n\mathbf 1_A(X_i)  
\sim \mathrm{Binomial}(n,P(A)).  
$$
---

## 12.2 无偏性
$$
\mathbb E[P_n(A)]
=
 \mathbb E\left[  
\frac1n\sum_{i=1}^n\mathbf 1_A(X_i)  
\right]
=
\frac1n\sum_{i=1}^n\mathbb E[\mathbf 1_A(X_i)].  
$$
而：
$$
\mathbb E[\mathbf 1_A(X_i)]=P(X_i\in A)=P(A).  
$$
所以：
$$
\mathbb E[P_n(A)]=P(A).  
$$
因此 $P_n(A)$ 是 $P(A)$ 的无偏估计。

---
## 12.3 方差

由于 $X_i$ 独立同分布，
$$
\operatorname{Var}(P_n(A))
=
\operatorname{Var}  
\left[  
\frac1n\sum_{i=1}^n\mathbf 1_A(X_i)  
\right].  
$$
独立性给出：
$$
\frac1{n^2}  
\sum_{i=1}^n  
\operatorname{Var}(\mathbf 1_A(X_i)).  
$$
Bernoulli 方差为：
$$
P(A)(1-P(A)).  
$$
因此：
$$
\operatorname{Var}(P_n(A))
=
\frac1nP(A)(1-P(A)).  
$$

这说明样本越多，经验测度对固定集合概率的估计方差越小。经验测度条目中也列出固定集合 $A$ 下 $nP_n(A)$ 服从二项分布，并给出无偏性与方差信息。([Wikipedia](https://en.wikipedia.org/wiki/Empirical_measure?utm_source=chatgpt.com "Empirical measure"))

---

## 12.4 对函数 $f$ 的无偏性
$$
P_nf=\frac1n\sum_{i=1}^n f(X_i).  
$$
若 $f$ 可积，则：
$$
\mathbb E[P_nf]
=
 \frac1n\sum_{i=1}^n\mathbb E[f(X_i)]
=
Pf.  
$$
所以 $P_nf$ 是 $Pf$ 的无偏估计。

---

## 12.5 对函数 $f$ 的方差

若 $f(X)$ 方差有限：
$$
\operatorname{Var}(f(X))<\infty,  
$$

则：

$$
\operatorname{Var}(P_nf)
=
\frac1n\operatorname{Var}(f(X)).  
$$

---

# 13. 经验测度与大数定律

对固定集合 $A$，由强大数定律：
$$
P_n(A)
=
 \frac1n\sum_{i=1}^n\mathbf 1_A(X_i)  
\to  
\mathbb E[\mathbf 1_A(X)]
=
P(A)  
$$
几乎处处成立：
$$
P_n(A)\xrightarrow{a.s.}P(A).  
$$
Columbia 随机模型课程讲义明确区分弱大数定律和强大数定律，并以样本平均收敛到期望作为核心陈述。([Columbia University](https://www.columbia.edu/~ww2040/6711F12/lect0904.pdf?utm_source=chatgpt.com "[PDF] 1 Overview 2 The Classical Laws of Large Numbers"))
同理，对固定可积函数 $f$：
$$
P_nf
=
\frac1n\sum_{i=1}^n f(X_i)  
\to  
Pf  
$$
在适当条件下成立。

这说明：
$$
\boxed{  
\text{经验测度对固定集合或固定函数的积分会收敛到真实测度。}  
}  
$$

---

# 14. 点态收敛、弱收敛与全变差收敛

经验测度 $P_n\to P$ 可以有不同含义。不同收敛方式强弱不同。

---

## 14.1 对固定集合的点态收敛

对每个固定 $A$：
$$
P_n(A)\to P(A).  
$$
这是集合层面的点态收敛。

但对所有集合同时成立通常太强，尤其在连续空间中不可能在全变差意义下成立。

---

## 14.2 对固定函数的积分收敛

对固定函数 $f$：
$$
P_nf\to Pf.  
$$
这就是样本平均收敛到期望。

---
## 14.3 弱收敛
在度量空间 $\mathcal X$ 上，概率测度 $P_n$ 弱收敛到 $P$，通常记作：

$$
P_n\Rightarrow P.  
$$
一种常用刻画是：对所有有界连续函数 $f$，
$$
\int fdP_n  
\to  
\int fdP.  
$$
University of Washington 的弱收敛讲义也以度量空间上的 Borel $\sigma$-域、以及有界连续函数上的积分收敛来刻画弱收敛。([Statistical Consulting Division](https://sites.stat.washington.edu/jaw/COURSES/520s/522/HO.522.20/ch11c.pdf?utm_source=chatgpt.com "[PDF] Chapter 11 Convergence in Distribution"))

经验测度在 $X_i\overset{i.i.d.}{\sim}P$ 时通常弱收敛到 $P$：

$$
P_n\Rightarrow P.  
$$

---

## 14.4 全变差收敛通常不成立

全变差距离定义为：
$$
||P_n-P||_{\mathrm{TV}}
=
\sup_{A\in\mathcal A}|P_n(A)-P(A)|.  
$$
若 $P$ 是连续分布，而 $P_n$ 是离散测度，则 $P_n$ 全部质量集中在有限样本点集合：

$$
{X_1,\ldots,X_n}.  
$$
设：

$$
A_n={X_1,\ldots,X_n}.  
$$

则：

$$
P_n(A_n)=1.  
$$
但若 $P$ 连续，则：
$$
P(A_n)=0.  
$$
于是：
$$
\sup_A|P_n(A)-P(A)|\ge 1.  
$$
所以：
$$
P_n  
$$
不可能以全变差距离收敛到连续 $P$。

这说明经验测度“收敛到真实分布”必须明确收敛拓扑。常见的是弱收敛、Wasserstein 收敛或特定函数类上的一致收敛，而不是全变差收敛。

---

# 15. Glivenko-Cantelli 定理

在一维实数情形中，经验分布函数：
$$
F_n(x)=P_n((-\infty,x])  
$$
不仅对每个固定 $x$ 收敛到 $F(x)$，而且有一致收敛：
$$
\sup_{x\in\mathbb R}|F_n(x)-F(x)|  
\to 0  
$$

几乎处处成立。

这就是经典 Glivenko-Cantelli 定理。相关讲义将其描述为数学统计中最基本的定理之一，是强大数定律的统一推广；经验分布函数在全体阈值集合上 uniformly 收敛到真实分布函数。([University of Southampton](https://www.personal.soton.ac.uk/cz1y20/Reading_Group/ep-2022/week4/slt07.pdf?utm_source=chatgpt.com "Lecture 7: Glivenko-Cantelli Theorem"))
更抽象地说，对集合类 $\mathcal C$，若：
$$
\sup_{C\in\mathcal C}|P_n(C)-P(C)|\to 0,  
$$
则 $\mathcal C$ 称为 Glivenko-Cantelli 类。

---

# 16. 经验过程

经验测度和真实测度的差：

$$
P_n-P  
$$

描述采样误差。

经验过程通常定义为：

$$
\mathbb G_n
=
\sqrt n(P_n-P).  
$$

对函数 $f$：

$$
\mathbb G_n f
=
\sqrt n(P_nf-Pf).  
$$

经验过程理论研究：
$$
\{\mathbb G_n f:f\in\mathcal F\}  
$$
作为随机过程的收敛、集中和复杂度性质。Wellner 的经验过程材料也以 $\mathbb G_n=\sqrt n(P_n-P)$ 定义经验过程，并把 $P_n(f)$ 称为由函数类索引的经验测度。([Statistical Consulting Division](https://sites.stat.washington.edu/jaw/RESEARCH/TALKS/BocconiSS/emp-prc-bk-big2.pdf?utm_source=chatgpt.com "[PDF] EMPIRICAL PROCESSES: Theory and Applications"))

---

# 17. 经验测度、经验分布、频率直方图的区别

## 17.1 经验测度

$$
P_n=\frac1n\sum_{i=1}^n\delta_{X_i}.  
$$

这是定义在整个可测空间上的概率测度。

---

## 17.2 经验分布函数

在 $\mathbb R$ 上：
$$
F_n(x)=P_n((-\infty,x]).  
$$
这是经验测度的一维累积分布函数表达。

---

## 17.3 直方图

直方图需要先划分 bins：
$$
B_1,\ldots,B_m.  
$$
然后统计：
$$
P_n(B_j)=\frac1n\sum_{i=1}^n\mathbf 1{X_i\in B_j}.  
$$
直方图是对经验测度的粗粒化表示；经验测度本身没有预设 bins。

---

# 18. 概率测度与经验测度的核心区别

| 比较维度          | 概率测度 $P$           | 经验测度 $P_n$                         |
| ----------------- | ---------------------- | -------------------------------------- |
| 来源              | 真实随机机制或理论模型 | 有限样本                               |
| 是否随机          | 通常作为固定对象       | 抽样前是随机测度                       |
| 是否离散          | 可以离散、连续、混合   | 总是离散，集中在样本点                 |
| 对集合 $A$ 的值   | $P(A)$                 | $P_n(A)=\frac1n\sum_i\mathbf 1_A(X_i)$ |
| 对函数 $f$ 的积分 | $Pf=\mathbb E[f(X)]$   | $P_nf=\frac1n\sum_i f(X_i)$            |
| 作用              | 描述真实分布           | 用样本估计真实分布                     |
| 收敛关系          | 目标对象               | 在适当意义下 $P_n\to P$                |

---

# 19. 经验测度为何是“离散近似”

即使真实分布 $P$ 是连续分布，经验测度：

$$
P_n=\frac1n\sum_{i=1}^n\delta_{X_i}  
$$


仍然是离散测度。

例如：


$$
X_i\sim \mathcal N(0,1).  
$$


真实分布 $P$ 对单点赋概率为零：

$$
P({x})=0.  
$$
但经验测度对样本点赋正质量：

$$
P_n({X_i})\ge \frac1n  
$$

若样本点不重复。

因此，经验测度不是把真实连续密度直接估计成连续密度，而是用有限原子点构造一个离散概率测度。它通过对集合、函数、弱拓扑或 Wasserstein 距离等意义上的收敛来逼近真实分布。

---

# 20. 加权经验测度

普通经验测度给每个样本相同权重：

$$
P_n=\frac1n\sum_{i=1}^n\delta_{X_i}.  
$$

加权经验测度为：

$$
P_n^w=\sum_{i=1}^n w_i\delta_{X_i},  
$$

其中：
$$
w_i\ge 0,  
\qquad  
\sum_{i=1}^n w_i=1.  
$$
若权重不同，可以表达重要性采样、bootstrap 重采样、prioritized replay 等。

例如重要性采样中，若样本来自 $Q$，目标是估计 $P$，可使用权重：

$$
w_i\propto \frac{dP}{dQ}(X_i).  
$$
---

# 21. Bootstrap 与经验测度

**Bootstrap 的基本思想是：把经验测度 $P_n$ 当作真实分布的替代，然后从 $P_n$ 中重复采样。**

从 $P_n$ 采样等价于从原始样本：
$$
X_1,\ldots,X_n  
$$
中有放回抽样。因为：
$$
P_n({X_i})=\frac1n.  
$$
若有放回抽样得到：
$$
X_1^*,\ldots,X_n^* \sim P_n,  
$$

**则这些 bootstrap 样本来自经验测度**，而不是直接来自真实 $P$。

哥本哈根大学材料也将有限样本上的均匀经验分布与有放回重采样联系起来。([web.math.ku.dk](https://web.math.ku.dk/~richard/binf/notes/chap2EV.pdf?utm_source=chatgpt.com "[PDF] 2.2 The Empirical Probability Measure"))

---

# 22. 经验测度在机器学习中的作用

在监督学习中，真实风险为：


$$
R(f)=\mathbb E_{(X,Y)\sim P}[\ell(f(X),Y)]
=
P\ell_f.  
$$


经验风险为：

$$
R_n(f)
=
 \frac1n\sum_{i=1}^n \ell(f(X_i),Y_i)
=
P_n\ell_f.  
$$

因此，经验风险最小化就是用经验测度 $P_n$ 替代真实测度 $P$：

$$
\min_f P\ell_f  
\quad\leadsto\quad  
\min_f P_n\ell_f.  
$$

泛化误差来自：

$$
(P_n-P)\ell_f.  
$$

若函数类 $\mathcal F$ 很大，则需要控制：
$$
\sup_{f\in\mathcal F}|P_nf-Pf|.  
$$
这正是经验过程理论、VC 理论、Rademacher complexity 等研究的问题。

---

# 23. 经验测度在强化学习中的作用

强化学习中也大量使用经验测度。

## 23.1 轨迹经验测度

若采样到轨迹：
$$
\tau_1,\ldots,\tau_n,  
$$
则轨迹经验测度为：

$$
\hat P_n^\tau
=
\frac1n\sum_{i=1}^n\delta_{\tau_i}.  
$$

策略梯度中的 Monte Carlo 估计本质上就是对轨迹分布 $P_\pi^\tau$ 的经验测度积分：
$$
\mathbb E_{\tau\sim P_\pi^\tau}[G(\tau)]  
\approx  
\frac1n\sum_{i=1}^nG(\tau_i).  
$$

---

## 23.2 transition tuple 经验测度

经验回放缓冲区中存储：
$$
D={(s_i,a_i,r_i,s_i')}_{i=1}^n.  
$$
对应经验测度：
$$
\hat P_D
=
\frac1n\sum_{i=1}^n  
\delta_{(s_i,a_i,r_i,s_i')}.  
$$
对 TD loss：
$$
\ell_\theta(s,a,r,s')
=
\left[  
r+\gamma\max_{a'}Q_{\bar\theta}(s',a')-Q_\theta(s,a)  
\right]^2,  
$$
经验损失为：
$$
\hat P_D\ell_\theta
=
\frac1n\sum_{i=1}^n\ell_\theta(s_i,a_i,r_i,s_i').  
$$
**所以 replay buffer 训练实际上是在经验测度下最小化损失。**

---

## 23.3 occupancy measure 与经验 occupancy

策略 $\pi$ 的真实状态-动作占用测度可能为：
$$
\rho^\pi(s,a).  
$$
有限采样得到经验占用测度：
$$
\hat\rho_T(s,a)
=
\frac1T\sum_{t=0}^{T-1}\delta_{(S_t,A_t)}(s,a).  
$$
对集合 $B\subseteq\mathcal S\times\mathcal A$：
$$
\hat\rho_T(B)
=
\frac1T\sum_{t=0}^{T-1}\mathbf 1_B(S_t,A_t).  
$$
这就是单条轨迹上的经验状态-动作分布。

---

## 23.4 off-policy 中的经验测度问题

如果数据来自行为策略 $\beta$，经验测度近似的是：
$$
d^\beta(s)\beta(a\mid s),  
$$
而目标策略需要的是：
$$
d^\pi(s)\pi(a\mid s).  
$$
因此，经验测度并不一定近似目标策略的 occupancy measure。这就是 off-policy 与离线 RL 的核心分布错配问题。

---

# 24. 经验测度与占用测度的区别

经验测度：
$$
P_n=\frac1n\sum_i\delta_{X_i}  
$$
来自有限样本。

占用测度：
$$
\rho^\pi(s,a)
=
\sum_t\gamma^t\Pr(S_t=s,A_t=a)  
$$

来自策略与环境诱导的理论访问分布。

经验占用测度：
$$
\hat\rho_T
=
\frac1T\sum_{t=0}^{T-1}\delta_{(S_t,A_t)}  
$$
是用一条或多条采样轨迹估计理论占用测度。

所以三者关系为：
$$
\text{理论 occupancy}  
\quad  
\longrightarrow  
\quad  
\text{采样轨迹}  
\quad  
\longrightarrow  
\quad  
\text{经验 occupancy}.  
$$
---

# 25. 经验测度在马尔可夫链中的特殊性

前面 $P_n\to P$ 的结论通常假设：

$$
X_1,\ldots,X_n\overset{i.i.d.}{\sim}P.  
$$

==但强化学习和马尔可夫过程中，样本：
$$
S_0,S_1,\ldots,S_T  
$$
通常不是独立的，而是相关的。==

此时经验测度：
$$
\hat d_T
=
\frac1T\sum_{t=0}^{T-1}\delta_{S_t}  
$$
仍然可以定义，但它的收敛不能直接使用 $i.i.d.$ 大数定律，**而需要马尔可夫链遍历定理或混合条件。**

若马尔可夫链遍历且平稳分布为 $d$，则通常有：
$$
\hat d_T(f)
=
\frac1T\sum_{t=0}^{T-1}f(S_t)  
\to  
\int f,d d  
$$
在适当意义下成立。

这表示马尔可夫链的时间平均经验测度收敛到平稳分布。

---

# 26. 概率测度与经验测度的层级关系

可以用如下结构总结：
$$
(\Omega,\mathcal F,\mathbb P)  
$$
是底层概率空间。

随机变量：
$$
X:\Omega\to\mathcal X  
$$
诱导真实分布：
$$
P=\mathbb P\circ X^{-1}.  
$$
样本：
$$
X_1,\ldots,X_n  
$$
诱导经验测度：
$$
P_n(\omega)
=
\frac1n\sum_{i=1}^n\delta_{X_i(\omega)}.  
$$
因此：
$$
P  
$$
是固定的目标概率测度；
$$
P_n  
$$
是由样本随机生成的概率测度。

对集合：
$$
P(A)=\Pr(X\in A),  
$$
$$
P_n(A)=\frac1n\sum_{i=1}^n\mathbf 1_A(X_i).  
$$
对函数：
$$
Pf=\mathbb E[f(X)],  
$$
$$
P_nf=\frac1n\sum_{i=1}^n f(X_i).  
$$

---

# 27. 典型例子

## 27.1 离散例子

设真实分布：
$$
P(X=1)=0.2,\quad P(X=2)=0.5,\quad P(X=3)=0.3.  
$$
采样：
$$
x_1=2,\ x_2=2,\ x_3=3,\ x_4=1,\ x_5=2.  
$$
经验测度：
$$
P_5
=
\frac15\delta_2  
+  
\frac15\delta_2  
+  
\frac15\delta_3  
+  
\frac15\delta_1  
+  
\frac15\delta_2.  
$$

合并后：
$$
P_5

\frac15\delta_1  
+  
\frac35\delta_2  
+  
\frac15\delta_3.  
$$
所以：
$$
P_5({1})=\frac15,  
\quad  
P_5({2})=\frac35,  
\quad  
P_5({3})=\frac15.  
$$
真实测度是：
$$
P=(0.2,0.5,0.3).  
$$
经验测度是：
$$
P_5=(0.2,0.6,0.2).  
$$

样本量增大后，经验频率趋向真实概率。

---

## 27.2 连续例子

设：
$$
X_i\sim \mathcal N(0,1).  
$$

真实测度：
$$
P(A)=\int_A\frac1{\sqrt{2\pi}}e^{-x^2/2},dx.  
$$

样本：
$$
x_1=-0.4,\quad x_2=0.1,\quad x_3=1.2.  
$$

经验测度：

$$
P_3
=
\frac13\delta_{-0.4}  
+  
\frac13\delta_{0.1}  
+  
\frac13\delta_{1.2}.  
$$


对区间：

$$
A=[0,1],  
$$


有：

$$
P_3([0,1])=\frac13  
$$

因为只有 $0.1$ 落入该区间。

而真实概率为：
$$
P([0,1])
=
\int_0^1\frac1{\sqrt{2\pi}}e^{-x^2/2},dx.  
$$
---

# 28. 常见误区

## 28.1 误区一：经验测度只是直方图

经验测度不是直方图。

经验测度是：
$$
P_n=\frac1n\sum_i\delta_{X_i}.  
$$
直方图需要额外选择 bins，并把经验测度投影到这些 bins 上。

---

## 28.2 误区二：经验测度一定有密度

经验测度是离散测度，通常没有相对于 Lebesgue 测度的密度。

对于连续样本空间，经验测度集中在有限样本点上，是原子测度。

---

## 28.3 误区三：$P_n(A)\to P(A)$ 对所有集合同时成立

对固定 $A$，有大数定律。

但对所有可测集合同时取上确界：
$$
\sup_A|P_n(A)-P(A)|  
$$
通常不会收敛到零，尤其当 $P$ 连续而 $P_n$ 离散时。

所以必须明确函数类或集合类。

---

## 28.4 误区四：经验测度是非随机的

抽样前：
$$
P_n  
$$

是随机测度。

抽样后，给定样本实现：
$$
x_1,\ldots,x_n,  
$$

$P_n$ 才变成确定测度。

---

## 28.5 误区五：概率测度必须有概率密度函数

概率测度可以没有密度。例如 Dirac 测度：
$$
\delta_x  
$$

没有相对于 Lebesgue 测度的普通密度。

离散分布、连续分布、奇异分布、混合分布都是概率测度。

---

# 29. 最核心的数学关系

经验测度的本质是：
$$
P_n
=
\frac1n\sum_{i=1}^n\delta_{X_i}.  
$$
对集合：
$$
P_n(A)
=
\frac1n\sum_{i=1}^n\mathbf 1_A(X_i).  
$$
对函数：
$$
P_nf
=
\frac1n\sum_{i=1}^n f(X_i).  
$$
真实概率测度：
$$
P(A)=\Pr(X\in A). 
$$
真实期望：
$$
Pf=\mathbb E[f(X)].  
$$
因此：
$$
P_n(A)\approx P(A),  
$$
$$
P_nf\approx Pf.  
$$
大数定律、中心极限定理、Glivenko-Cantelli 定理、经验过程理论，都是在研究这种近似的精度、收敛方式和适用范围。

---

# 30. 一句话总结

概率测度 $P$ 是对随机现象真实分布规律的数学表示：
$$
P(A)=\Pr(X\in A).  
$$

经验测度 $P_n$ 是由有限样本构造出的随机离散概率测度：
$$
P_n(A)=\frac1n\sum_{i=1}^n\mathbf 1_A(X_i).  
$$

二者通过如下关系连接：
$$
P_n
=
\frac1n\sum_{i=1}^n\delta_{X_i}  
\quad  
\Longrightarrow  
\quad  
P_n\to P  
$$

在适当意义下成立。
更直观地说：
$$
\boxed{  
P\text{ 是真实分布；}  
\qquad  
P_n\text{ 是样本给出的经验分布。}  
}  
$$
但严谨地说：
$$
\boxed{  
P\text{ 是定义在可测空间上的概率测度；}  
\qquad  
P_n\text{ 是由样本 Dirac 测度平均得到的随机概率测度。}  
}
$$