**统计功效分析 (Power Analysis)** 是统计学和实验设计中极其核心的一环。简而言之，它是用来回答一个实验设计中最实际的问题：**“我到底需要多少样本，才能有把握地检测出我想要的实验效果？”**

如果没有进行功效分析，你的实验可能会面临两种极端的风险：要么样本太少（导致明明有效果却没测出来，浪费时间），要么样本太多（导致测出了毫无现实意义的微小差异，浪费金钱和资源）。

为了严谨地理解它，我们需要拆解构成假设检验的**四个核心参数**。这四个参数在数学上是相互锁定的（构成一个方程），已知其中任意三个，就可以计算出第四个。

### 一、 功效分析的四大核心基石

#### 1. 显著性水平 (Significance Level, $\alpha$)

- **定义：** 犯**第一类错误 (Type I Error)** 的概率，即“假阳性”。也就是当零假设（Null Hypothesis，认为没有效果）为真时，你却错误地拒绝了它的概率。
    
- **常规设定：** 通常设为 **0.05**。意味着你愿意承担 **5%** 的风险去报告一个实际上不存在的“假效果”。
    

#### 2. 统计功效 (Statistical Power, $1 - \beta$)

- **定义：** 成功检测出真实效果的概率。数学上等于 $1 - \beta$，其中 $\beta$ 是犯**第二类错误 (Type II Error)** 的概率（即“假阴性”：明明有效果，你却没测出来）。
    
- **常规设定：** 学术界通常要求功效至少达到 **0.80 (80%)**。这意味着如果你的药物真的有效，你有 **80%** 的把握能在实验中得出统计显著的结论，有 **20%** 的可能会错过它。
    

#### 3. 效应量 (Effect Size)

- **定义：** 你想要检测的**真实差异的绝对大小**。它不依赖于样本量，衡量的是现象在现实世界中的显著程度（例如，新药比旧药到底能多降几个血压点）。
    
- **衡量标准：** 常用 Cohen's $d$ 等指标。$d = 0.2$ 视为小效应，$d = 0.5$ 视为中等效应，$d = 0.8$ 视为大效应。效应量越大，越容易被检测到。
    

#### 4. 样本量 (Sample Size, $N$)

- **定义：** 参与实验的受试者或观测点的数量。
    
- **核心作用：** 样本量越大，数据的随机波动（标准误）就越小，统计结果越精确，越容易区分出微小的效应。
    

### 二、 现实世界的直观比喻：显微镜找细菌

我们可以把假设检验比作**用显微镜寻找一种罕见的细菌**：

- **效应量：** 细菌本身的物理大小。细菌越大（效应量大），越容易被看见。
    
- **样本量 ($N$)：** 显微镜的放大倍数。倍数越高（样本量大），看得很清楚，连极微小的细菌也能发现。
    
- **显著性水平 ($\alpha$)：** 镜片上的灰尘。你把灰尘误认为是细菌的概率（假阳性）。
    
- **统计功效 (Power)：** 当切片上确实有细菌时，你成功看到它的概率。
    

**功效分析的目的**，就是在已知细菌大概有多大（效应量），以及你最多能容忍多少灰尘干扰（$\alpha$）的前提下，计算出你**需要买一台多少倍数的显微镜（样本量）**，才能保证有 **80% 的把握（Power）** 找到它。

---


**经验测度 (Empirical Measure)** 是概率论、数理统计和机器学习理论（特别是统计学习理论与经验过程理论）中，连接“有限观察样本”与“底层真实分布”的最核心的数学桥梁。

简而言之，它是一个**由数据点本身构建的离散概率测度**，将所有的概率质量均匀地分配给每一个观测到的样本。

以下是经验测度的严格数学定义、核心性质及其在泛化理论中的关键作用。

## 一、 严谨数学定义

设 $(\mathcal{X}, \Sigma)$ 为一个可测空间，其中 $\mathcal{X}$ 是样本空间，$\Sigma$ 是其上的 $\sigma$-代数。

假设存在一个未知的真实概率测度 $P$。我们从 $P$ 中独立同分布（i.i.d.）地抽取 $n$ 个随机变量（样本）：

$$X_1, X_2, \dots, X_n \sim P$$

为了将这些离散的样本转化为一个测度（概率分布），我们首先引入**狄拉克测度 (Dirac Measure)** $\delta_x$。对于任意 $x \in \mathcal{X}$ 和任意可测集 $A \in \Sigma$，狄拉克测度定义为：

$$\delta_x(A) = \begin{cases} 1, & \text{if } x \in A \\ 0, & \text{if } x \notin A \end{cases}$$

**经验测度 $\mathbb{P}_n$** 定义为这 $n$ 个随机变量对应的狄拉克测度的经验平均：

$$\mathbb{P}_n = \frac{1}{n} \sum_{i=1}^n \delta_{X_i}$$

### 1. 对集合的测度

对于任意可测集合 $A \in \Sigma$，经验测度赋予 $A$ 的概率即为样本落入 $A$ 中的频率：

$$\mathbb{P}_n(A) = \frac{1}{n} \sum_{i=1}^n \delta_{X_i}(A) = \frac{1}{n} \sum_{i=1}^n \mathbb{I}_{\{X_i \in A\}}$$

其中 $\mathbb{I}$ 是指示函数。

### 2. 对函数的积分 (经验期望)

对于任意可积函数 $f: \mathcal{X} \to \mathbb{R}$，其在经验测度下的勒贝格积分（即经验期望）等于 $f$ 在样本上的算术平均：

$$\mathbb{P}_n f \doteq \int_{\mathcal{X}} f(x) d\mathbb{P}_n(x) = \frac{1}{n} \sum_{i=1}^n f(X_i)$$

对比真实分布下的期望：$P f = \int_{\mathcal{X}} f(x) dP(x) = \mathbb{E}[f(X)]$。

**极重要的概念区分：** 真实测度 $P$ 是一个确定的数学对象；而**经验测度 $\mathbb{P}_n$ 本身是一个随机测度 (Random Measure)**，因为它的具体形态依赖于单次采样的随机变量序列 $\omega \mapsto (X_1(\omega), \dots, X_n(\omega))$。

## 二、 基础统计性质 (Pointwise Properties)

固定一个特定的集合 $A \in \Sigma$ 或函数 $f$，我们可以研究 $\mathbb{P}_n$ 的统计性质。

由于 $X_i \sim P$ 是 i.i.d. 的，随机变量 $\mathbb{I}_{\{X_i \in A\}}$ 服从参数为 $p = P(A)$ 的伯努利分布。因此，$n \mathbb{P}_n(A)$ 服从二项分布 $\text{Binomial}(n, P(A))$。

由此立即得到：

1. **无偏性 (Unbiasedness):** $\mathbb{E}[\mathbb{P}_n(A)] = P(A)$
    
2. **方差 (Variance):** $\text{Var}(\mathbb{P}_n(A)) = \frac{P(A)(1 - P(A))}{n}$
    

## 三、 渐进理论与经验过程 (Asymptotic Theory & Empirical Processes)

仅仅探讨固定的集合 $A$ 是不够的。在机器学习（如之前提到的行为克隆或 RL）中，我们需要在整个假设空间（无穷多个函数）上同时使用经验测度替代真实测度。这就引出了严谨的极限定理：

### 1. 强大数定律 (SLLN)

对于固定的可测集 $A$ 或可积函数 $f$，当 $n \to \infty$ 时，经验测度几乎处处 (almost surely) 弱收敛于真实测度：

$$\mathbb{P}_n f \xrightarrow{a.s.} P f$$

### 2. Glivenko-Cantelli 定理 (统计学的基本定理)

如果我们不仅考察单个函数，而是考察一个函数族 $\mathcal{F}$（例如所有可能的神经网络参数组合对应的损失函数），我们需要 $\mathbb{P}_n$ 在整个 $\mathcal{F}$ 上**一致收敛**于 $P$。

如果下式成立：

$$\sup_{f \in \mathcal{F}} |\mathbb{P}_n f - P f| \xrightarrow{a.s.} 0$$

则称 $\mathcal{F}$ 为一个 **$P$-Glivenko-Cantelli 类**。

_这在机器学习中对应于：当假设空间的复杂度（如 VC 维度 或 Rademacher 复杂度）有界时，经验风险最小化（ERM）不仅能记住训练集，还能真正泛化到测试分布上。_

### 3. Donsker 定理 (泛函中心极限定理)

定义经验过程 (Empirical Process) $\mathbb{G}_n = \sqrt{n}(\mathbb{P}_n - P)$。

对于某个函数族 $\mathcal{F}$，Donsker 定理给出了波动的分布：

$$\mathbb{G}_n \rightsquigarrow \mathbb{G}_P$$

其中 $\rightsquigarrow$ 表示在某种度量下的依分布收敛，而 $\mathbb{G}_P$ 是一个紧的 $P$-布朗桥 (Brownian bridge) 高斯过程。这为估计机器学习模型的置信区间和收敛率（$\mathcal{O}(1/\sqrt{n})$）提供了严格依据。

### 4. Sanov 定理 (大偏差原理, Large Deviations)

Sanov 定理回答了“经验测度严重偏离真实测度”的罕见事件概率有多大。它表明这种概率以指数级衰减，且衰减率严格等于 KL 散度：

$$\mathbb{P}(\mathbb{P}_n \approx Q) \asymp e^{-n D_{KL}(Q \| P)}$$

（这意味着如果经验测度看起来像分布 $Q$，那它发生的概率随 $n$ 增加呈 $-n \cdot D_{KL}(Q||P)$ 指数下降）。

## 四、 经验测度在机器学习与强化学习中的本质映射

在实际算法中，我们无法写下代码去操作抽象的 $P$，所有算法操作的对象本质上都是 $\mathbb{P}_n$。

**1. 经验风险最小化 (Empirical Risk Minimization, ERM)**

在监督学习（如行为克隆）中，我们的真实目标是最小化期望风险 $R(f) = P L_f = \int L(f(x), y) dP(x,y)$。

因为 $P$ 未知，我们用经验测度 $\mathbb{P}_n$ 代替 $P$，最小化经验风险：

$$\hat{R}_n(f) = \mathbb{P}_n L_f = \frac{1}{n} \sum_{i=1}^n L(f(x_i), y_i)$$

**2. 强化学习中的 Replay Buffer 与 Empirical MDP**

在 RL 中，Replay Buffer $\mathcal{D} = \{(s_i, a_i, r_i, s'_i)\}_{i=1}^n$ 本质上就是在状态-动作-奖励转移空间 $\mathcal{S} \times \mathcal{A} \times \mathbb{R} \times \mathcal{S}$ 上构建了一个**经验联合测度**。

基于模型（Model-based）的 RL 算法中拟合环境动力学，或者 Q-Learning 中从 Buffer 中采样计算 TD Target，在数学上完全等价于：在经验测度 $\mathbb{P}_n$ 定义的 "Empirical MDP" 上执行精确的动态规划。由于存在 $\sup_{f} |\mathbb{P}_n f - P f|$ 的泛化误差边界，这就解释了为什么当数据覆盖不足时，RL 智能体会产生严重的过估计（Overestimation Bias）和协变量偏移。



---

## 1. 标准误的定义

**标准误**，英文是 **standard error, SE**，指的是：
$$
\text{某个统计量的抽样分布的标准差}  
$$

更具体地说，若用样本统计量 ($\hat\theta$) 估计总体参数 ($\theta$)，那么 ($\hat\theta$) 会随着样本不同而变化。这个“估计量在重复抽样中的波动程度”就是标准误。Penn State 的统计教材也给出同样定义：standard error 是 sampling distribution 的 standard deviation。([PennState: Statistics Online Courses](https://online.stat.psu.edu/stat200/book/export/html/79?utm_source=chatgpt.com "4.1 - Sampling Distributions"))

形式化地：

$$
SE(\hat\theta)
=
\sqrt{\operatorname{Var}(\hat\theta)}.  
$$

这里的关键是：**标准误度量的不是原始数据点的离散程度，而是统计量本身的离散程度。**

---

## 2. 以样本均值为例

设总体随机变量为：

[  
$$
X_1,X_2,\ldots,X_n  
$$
]

并且满足独立同分布：

[  
$$
X_i \sim P,  
$$
]

总体均值为：


$$
\mu = \mathbb E[X],  
$$


总体方差为：


$$
\sigma^2 = \operatorname{Var}(X).  
$$

样本均值为：

$$
\bar X
=
\frac{1}{n}  
\sum_{i=1}^n X_i.  
$$

样本均值 ($\bar X$) 是总体均值 ($\mu$) 的估计量。由于样本是随机抽取的，所以 ($\bar X$) 本身也是随机变量。

标准误关心的是：

$$
\bar X  
$$

在重复抽样时会如何波动。

---

## 3. 样本均值标准误的推导

因为：

$$
\bar X
=
\frac{1}{n}  
\sum_{i=1}^n X_i,  
$$


所以：

# [  
$$
\operatorname{Var}(\bar X)
=
\operatorname{Var}  
\left(  
\frac{1}{n}  
\sum_{i=1}^n X_i  
\right).  
$$
]

将常数提出：

$$
\operatorname{Var}(\bar X)
=
\frac{1}{n^2}  
\operatorname{Var}  
\left(  
\sum_{i=1}^n X_i  
\right).  
$$

若 ($X_1,\ldots,X_n$) 独立，则：

$$
\operatorname{Var}  
\left(  
\sum_{i=1}^n X_i  
\right)
=
\sum_{i=1}^n  
\operatorname{Var}(X_i).  
$$


因为每个 ($X_i$) 方差相同：

[  
$$
\operatorname{Var}(X_i)=\sigma^2,  
$$
]

所以：


$$
\operatorname{Var}  
\left(  
\sum_{i=1}^n X_i  
\right)
=
n\sigma^2.  
$$


代入得到：


$$
\operatorname{Var}(\bar X)
=
 \frac{1}{n^2}  
n\sigma^2
=
\frac{\sigma^2}{n}.  
$$

因此样本均值的标准误为：

$$
SE(\bar X)
=
 \sqrt{\operatorname{Var}(\bar X)}
 =
 \sqrt{\frac{\sigma^2}{n}}
=
\frac{\sigma}{\sqrt n}.  
$$


Michigan 的统计教材也指出，均值标准误的表达式为 ($\sigma/\sqrt n$)，并说明样本量越大，标准误越小，估计越精确。([Department of Statistics](https://dept.stat.lsa.umich.edu/~kshedden/introds/topics/standard_errors/?utm_source=chatgpt.com "Standard Errors | Introduction to Data Science"))

---

## 4. 总体标准差未知时的估计标准误

现实中总体标准差 ($\sigma$) 通常未知，因此用样本标准差 ($s$) 估计：

# [  
$$
s
=
\sqrt{  
\frac{1}{n-1}  
\sum_{i=1}^n  
(X_i-\bar X)^2  
}.  
$$
]

于是样本均值的**估计标准误**为：

# [  
$$
\widehat{SE}(\bar X)
=
\frac{s}{\sqrt n}.  
$$
]

Stanford 的统计课程材料也给出估计标准误形式：用估计的标准差除以 ($\sqrt n$)。([Stanford University](https://web.stanford.edu/class/msande226/2025/lectures/lecture9_inference.pdf?utm_source=chatgpt.com "Lecture 9: Standard errors and confidence intervals"))

注意区分：

[  
$$
SE(\bar X)=\frac{\sigma}{\sqrt n}  
$$
]

是理论标准误；

[  
$$
\widehat{SE}(\bar X)=\frac{s}{\sqrt n}  
$$
]

是根据样本计算出来的估计标准误。

---

## 5. 标准差和标准误的区别

标准差与标准误经常被混淆，但二者含义完全不同。

| 概念  |                 记号 | 衡量对象      | 含义       |
| --- | -----------------: | --------- | -------- |
| 标准差 | ($s$) 或 ($\sigma$) | 原始观测值     | 数据本身有多分散 |
| 标准误 | ($SE(\hat\theta)$) | 统计量 / 估计量 | 估计量有多不稳定 |

例如有一组样本：

[  
$$
X_1,\ldots,X_n.  
$$
]

标准差 ($s$) 衡量的是：

[  
$$
X_i  
$$
]

相对于样本均值 ($\bar X$) 的波动程度。

标准误 ($\widehat{SE}(\bar X)$) 衡量的是：

[  
$$
\bar X  
$$
]

作为总体均值估计时的波动程度。

因此：

[  
$$
\text{标准差：描述数据}  
$$

$$
\text{标准误：描述估计精度}  
$$
]

---

## 6. 为什么标准误随样本量增大而变小

样本均值标准误为：

[  
$$
SE(\bar X)=\frac{\sigma}{\sqrt n}.  
$$
]

当 ($n$) 增大时，分母 ($\sqrt n$) 增大，因此：

[  
$$
SE(\bar X)  
$$
]

变小。

直观上，单个样本可能很偶然，但多个样本平均后，正负偏差会部分抵消，样本均值更接近总体均值。Virginia Tech 的统计教材在讨论样本均值抽样分布时也指出，样本量越大，样本均值分布的标准差越小。([Pressbooks at Virginia Tech](https://pressbooks.lib.vt.edu/introstatistics/chapter/the-central-limit-theorem-for-sample-means-averages/?utm_source=chatgpt.com "6.2 The Sampling Distribution of the Sample Mean (σ Known)"))

不过下降速度是：

$$
\frac{1}{\sqrt n},  
$$

不是：


$$
\frac{1}{n}.  
$$


这意味着：若希望标准误减半，需要将样本量扩大到原来的 4 倍。

因为：

# [  
$$
\frac{\sigma}{\sqrt{4n}}
=
\frac{\sigma}{2\sqrt n}.  
$$
]

---

## 7. 标准误和抽样分布的关系

标准误必须放在**抽样分布**中理解。

假设从同一个总体中反复抽样，每次抽取 ($n$) 个样本，并计算一个样本均值：

[  
$$
\bar X^{(1)},\bar X^{(2)},\ldots,\bar X^{(m)}.  
$$
]

这些样本均值本身会形成一个分布：

[  
$$
\bar X \text{ 的抽样分布}.  
$$
]

这个抽样分布的标准差就是：

[  
$$
SE(\bar X).  
$$
]

也就是说，标准误不是描述某一次样本内部的分散程度，而是描述“如果重复做很多次同样规模的抽样，得到的估计量会有多分散”。

---

## 8. 标准误和置信区间

标准误常用于构造置信区间。若样本量足够大，且样本均值近似正态，则总体均值的近似 (95%) 置信区间为：

[  
$$
\bar X  
\pm  
1.96 \cdot \widehat{SE}(\bar X).  
$$
]

也就是：

[  
$$
\bar X  
\pm  
1.96\frac{s}{\sqrt n}.  
$$
]

标准误越小，置信区间越窄，估计越精确。标准误也常用于置信区间计算，这一点在 standard error 的定义性说明中也被强调。([Wikipedia](https://en.wikipedia.org/wiki/Standard_error?utm_source=chatgpt.com "Standard error"))

---

## 9. 一个简单数值例子

假设样本量为：

[  
$$
n=100,  
$$
]

样本标准差为：

[  
$$
s=20.  
$$
]

则样本均值的估计标准误为：

# [  
$$
\widehat{SE}(\bar X)
=
 \frac{s}{\sqrt n}
=
 \frac{20}{\sqrt{100}}
=
 \frac{20}{10}
$$

]

这表示：样本均值作为总体均值估计量，其典型抽样波动大约为 2。

若样本均值为：

[  
$$
\bar X=50,  
$$
]

近似 (95%) 置信区间为：

# [  
$$
50 \pm 1.96 \times 2
=
50 \pm 3.92.  
$$
]

即：

[  
$$
[46.08,\ 53.92].  
$$
]

---

## 10. 标准误不是“误差本身”

“标准误”这个名字容易误导。它不是某一次估计的真实误差：

[  
$$
\bar X-\mu.  
$$
]

真实误差依赖未知总体均值 ($\mu$)，通常不可直接知道。

标准误衡量的是误差的典型规模：

# [  
$$
SE(\bar X)
=
\sqrt{\mathbb E[(\bar X-\mu)^2]}  
$$
]

在无偏估计情形下，标准误等于估计误差的均方根尺度。

因此，标准误越小，不代表本次估计一定更接近真实值；而是表示在重复抽样意义下，估计量通常更稳定。

---

## 11. 更一般的标准误

标准误不只用于均值。任何统计量都可以有标准误。

例如：

[  
$$
\hat p  
$$
]

是比例的估计量，则比例的标准误为：

# [  
$$
SE(\hat p)
=
\sqrt{  
\frac{p(1-p)}{n}  
}.  
$$
]

实际中 (p) 未知，常用 (\hat p) 替代：

# [  
$$
\widehat{SE}(\hat p)
=
\sqrt{  
\frac{\hat p(1-\hat p)}{n}  
}.  
$$
]

再如回归系数：

[  
$$
\hat\beta_j  
$$
]

也有标准误：

[  
$$
SE(\hat\beta_j).  
$$
]

回归中的 t 统计量通常写为：

# [  
$$
t
=
\frac{\hat\beta_j-\beta_{j,0}}  
{SE(\hat\beta_j)}.  
$$
]

这里标准误衡量的是回归系数估计值的不确定性。

---

## 12. 总结

标准误的本质是：

[  
$$
\boxed{  
\text{估计量的抽样分布的标准差}  
}  
$$
]

对样本均值而言：

[  
$$
\boxed{  
SE(\bar X)=\frac{\sigma}{\sqrt n}  
}  
$$
]

总体标准差未知时，用：

$$
\boxed{  
\widehat{SE}(\bar X)=\frac{s}{\sqrt n}  
}  
$$

标准差描述原始数据的波动，标准误描述估计量的波动。标准误越小，表示估计越稳定、置信区间通常越窄、统计推断通常越精确。

---

## 1. Power analysis 是什么

**Power analysis（统计功效分析）**是在进行实验或数据分析前，用来判断：

[  
$$
\text{需要多少样本，才能以足够高的概率检测到一个给定大小的真实效应？}  
$$
]

或者反过来说：

[  
$$
\text{给定样本量，能以多大概率发现某个真实存在的效应？}  
$$
]

这里的 **power（统计功效）** 定义为：

[  
$$
\text{Power}=1-\beta  
$$
]

其中 ($\beta$) 是 **II 类错误概率**，即真实效应存在时，统计检验却没有拒绝原假设的概率。因此，power 就是：**在备择假设为真时，检验能够正确拒绝原假设的概率**。样本量、显著性水平、效应大小和 power 是功效分析中的四个核心量；通常给定其中三个，可以求第四个。([OARC Stats](https://stats.oarc.ucla.edu/other/mult-pkg/seminars/intro-power/presentation-notes/?utm_source=chatgpt.com "Introduction to Power Analysis Seminar – Presentation Notes"))

---

## 2. 假设检验中的两类错误

设有原假设和备择假设：

$$
H_0:\text{没有效应}  
$$

$$
H_1:\text{存在效应}  
$$

统计检验有四种可能结果：

| 真实情况       | 检验结果        | 含义      |
| ---------- | ----------- | ------- |
| ($H_0$) 为真 | 不拒绝 ($H_0$) | 正确      |
| ($H_0$) 为真 | 拒绝 ($H_0$)  | I 类错误   |
| ($H_1$) 为真 | 不拒绝 ($H_0$) | II 类错误  |
| ($H_1$) 为真 | 拒绝 ($H_0$)  | 正确检测到效应 |

其中：

[  
$$
\alpha=P(\text{拒绝 }H_0\mid H_0\text{ 为真})  
$$
]

称为 **I 类错误概率**，也叫显著性水平。例如 ($\alpha=0.05$) 表示：若原假设为真，检验仍有 5% 的概率错误拒绝原假设。

[  
$$
\beta=P(\text{不拒绝 }H_0\mid H_1\text{ 为真})  
$$
]

称为 **II 类错误概率**。

因此：

# [  
$$
\text{Power}
=
 P(\text{拒绝 }H_0\mid H_1\text{ 为真})
=
1-\beta.  
$$
]

功效分析通常要求研究者明确原假设、备择假设、效应大小、显著性水平、I 类错误、II 类错误和 power。([PMC](https://pmc.ncbi.nlm.nih.gov/articles/PMC8441096/?utm_source=chatgpt.com "Sample size determination and power analysis using the G ..."))

---

## 3. Power analysis 的核心直觉

可以把假设检验想成两条分布：

[  
$$
H_0\text{ 下统计量的分布}  
$$
]

和

[  
$$
H_1\text{ 下统计量的分布}.  
$$
]

显著性水平 ($\alpha$) 决定拒绝域。例如右尾检验中，拒绝域是：

[  
$$
Z>z_{1-\alpha}.  
$$
]

power 则是：当 ($H_1$) 为真时，统计量落入这个拒绝域的概率。

也就是说：

# [  
$$
\text{Power}
=
P_{H_1}(Z>z_{1-\alpha}).  
$$
]

如果 ($H_0$) 和 ($H_1$) 下的分布高度重叠，那么即使真实效应存在，检验也不容易发现它，power 较低。若样本量增大、噪声减小或效应增大，两条分布分离程度提高，power 就会上升。UCLA 的统计教程也概括指出：提高样本量、效应大小或显著性水平通常都会提高 power。([OARC Stats](https://stats.oarc.ucla.edu/other/mult-pkg/seminars/intro-power/presentation-notes/?utm_source=chatgpt.com "Introduction to Power Analysis Seminar – Presentation Notes"))

---

## 4. 四个基本量：($\alpha$)、($\beta$)、$effect size$、$sample\ size$

### 4.1 显著性水平 ($\alpha$)

($\alpha$) 控制误报概率：

[  
$$
\alpha=P(\text{false positive}).  
$$
]

常见选择是：

[  
$$
\alpha=0.05.  
$$
]

($\alpha$) 越小，拒绝原假设越困难，因此 power 通常下降。比如从 ($\alpha=0.05$) 改成 ($\alpha=0.01$)，检验更严格，但也更不容易发现真实效应。

---

### 4.2 II 类错误概率 ($\beta$)

($\beta$) 控制漏报概率：

[  
$$
\beta=P(\text{false negative}).  
$$
]

power 为：

[  
$$
1-\beta.  
$$
]

常见目标是：

[  
$$
\text{Power}=0.8  
$$
]

也就是：

[  
$$
\beta=0.2.  
$$
]

这表示：如果设定的真实效应确实存在，那么实验有 80% 的概率检测到它。

---

### 4.3 效应大小 effect size

效应大小表示真实差异有多大。以均值差为例，若两个总体均值分别为 ($\mu_1,\mu_2$)，标准差为 ($\sigma$)，常见标准化效应大小为 Cohen’s ($d$)：

[  
$$
d=\frac{\mu_1-\mu_2}{\sigma}.  
$$
]

若 (d) 越大，说明差异相对于噪声越明显，因此更容易检测到，所需样本量越小。UCLA 的说明中也强调，在两独立样本 t 检验中，效应大小由均值差和标准差共同决定；效应越大，在相同样本量下 power 越高，或在相同 power 目标下所需样本量越小。([OARC Stats](https://stats.oarc.ucla.edu/other/gpower/power-analysis-for-two-group-independent-sample-t-test/?utm_source=chatgpt.com "Power analysis for two-group independent sample t-test"))

---

### 4.4 样本量 sample size

样本量 ($n$) 控制估计的不确定性。对于均值估计：

[  
$$
\bar X \sim \mathcal N\left(\mu,\frac{\sigma^2}{n}\right).  
$$
]

标准误为：

[  
$$
\operatorname{SE}(\bar X)=\frac{\sigma}{\sqrt n}.  
$$
]

当 ($n$) 增大时，标准误下降，均值估计更集中，因此更容易区分 ($H_0$) 和 ($H_1$)。所以样本量越大，power 通常越高。关于样本量、效应大小和显著性的关系，NIH/PMC 的综述也强调样本量估计必须结合效应大小和统计显著性来理解。([PMC](https://pmc.ncbi.nlm.nih.gov/articles/PMC7745163/?utm_source=chatgpt.com "Sample size, power and effect size revisited - PMC - NIH"))

---

## 5. 一个最基本的数学推导：单样本 z 检验

考虑：

[  
$$
X_1,\ldots,X_n\sim \mathcal N(\mu,\sigma^2)  
$$
]

且 ($\sigma$) 已知。检验：

[  
$$
H_0:\mu=\mu_0  
$$
]

[  
$$
H_1:\mu=\mu_0+\delta  
$$
]

其中 ($\delta>0$) 是希望检测到的真实均值差。

使用统计量：

[  
$$
Z=  
\frac{\bar X-\mu_0}{\sigma/\sqrt n}.  
$$
]

在 ($H_0$) 下：

[  
$$
Z\sim \mathcal N(0,1).  
$$
]

右尾检验的拒绝规则为：

[  
$$
Z>z_{1-\alpha}.  
$$
]

在 ($H_1$) 下，因为 ($\mu=\mu_0+\delta$)，所以：

# [  
$$
Z
=
\frac{\bar X-\mu_0}{\sigma/\sqrt n}  
\sim  
\mathcal N\left(  
\frac{\delta\sqrt n}{\sigma},  
1  
\right).  
$$
]

因此 power 为：

# [  
$$
\text{Power}
=
P_{H_1}(Z>z_{1-\alpha}).  
$$
]

由于 ($Z$) 在 ($H_1$) 下均值为 ($\frac{\delta\sqrt n}{\sigma}$)，所以：

# [  
$$
\text{Power}
=
 1-\Phi  
\left(  
z_{1-\alpha}
-
\frac{\delta\sqrt n}{\sigma}  
\right),  
$$
]

其中 ($\Phi$) 是标准正态分布函数。

如果希望 power 达到 ($1-\beta$)，则要求：


$$
1-\Phi  
\left(  
z_{1-\alpha}
-
 \frac{\delta\sqrt n}{\sigma}  
\right)
=
1-\beta.  
$$


等价于：

## [  
$$
\Phi  
\left(  
z_{1-\alpha}
-
 \frac{\delta\sqrt n}{\sigma}  
\right)
=
\beta.  
$$
]

因此：

## [  
$$
z_{1-\alpha}
-
\frac{\delta\sqrt n}{\sigma}
=
z_\beta.  
$$
]

由于：

[  
$$
z_\beta=-z_{1-\beta},  
$$
]

所以：

# [  
$$
\frac{\delta\sqrt n}{\sigma}
=
z_{1-\alpha}+z_{1-\beta}.  
$$
]

最终得到样本量公式：

# [  
$$
n
=
\left(  
\frac{(z_{1-\alpha}+z_{1-\beta})\sigma}{\delta}  
\right)^2.  
$$
]

这说明样本量与三个因素有关：

[  
$$
n\propto \frac{\sigma^2}{\delta^2}.  
$$
]

噪声越大，所需样本越多；希望检测的效应 ($\delta$) 越小，所需样本也越多，而且是按平方增长。

---

## 6. 双侧检验的近似公式

若检验为双侧：

[  
$$
H_0:\mu=\mu_0  
$$

$$
H_1:\mu\neq \mu_0,  
$$
]

拒绝域变成：

[  
$$
|Z|>z_{1-\alpha/2}.  
$$
]

近似样本量公式为：

[  
$$
n  
\approx  
\left(  
\frac{(z_{1-\alpha/2}+z_{1-\beta})\sigma}{\delta}  
\right)^2.  
$$
]

双侧检验比单侧检验更保守，因为 (\alpha) 被分配到两侧尾部，所以临界值从 ($z_{1-\alpha}$) 变为 ($z_{1-\alpha/2}$)。

例如：

[  
$$
\alpha=0.05,\quad  
\text{Power}=0.8.  
$$
]

则：

[  
$$
z_{1-\alpha/2}=z_{0.975}\approx1.96,  
$$
]

[  
$$
z_{1-\beta}=z_{0.8}\approx0.84.  
$$
]

所以：

# [  
$$
n  
\approx  
\left(  
\frac{(1.96+0.84)\sigma}{\delta}  
\right)^2
=
\left(  
\frac{2.8\sigma}{\delta}  
\right)^2.  
$$
]

若标准化效应大小为：

[  
$$
d=\frac{\delta}{\sigma}=0.5,  
$$
]

则：

# [  
$$
n  
\approx  
\left(  
\frac{2.8}{0.5}  
\right)^2
=
31.36.  
$$
]

即单样本情形下大约需要 32 个样本。

---

## 7. 两独立样本均值比较

若比较两组均值：

[  
$$
H_0:\mu_1=\mu_2  
$$
]

[  
$$
H_1:\mu_1-\mu_2=\delta.  
$$
]

假设两组方差相同，且每组样本量均为 ($n$)。此时：

[  
$$
\bar X_1-\bar X_2  
$$
]

的标准误为：

# [  
$$
\operatorname{SE}(\bar X_1-\bar X_2)
=
\sigma\sqrt{\frac{2}{n}}.  
$$
]

双侧检验下，每组所需样本量近似为：

[  
$$
n  
\approx  
2  
\left(  
\frac{(z_{1-\alpha/2}+z_{1-\beta})\sigma}{\delta}  
\right)^2.  
$$
]

使用标准化效应大小：

[  
$$
d=\frac{\delta}{\sigma},  
$$
]

可写成：

[  
$$
n  
\approx  
2  
\left(  
\frac{z_{1-\alpha/2}+z_{1-\beta}}{d}  
\right)^2.  
$$
]

例如：

[  
$$
\alpha=0.05,\quad  
\text{Power}=0.8,\quad  
d=0.5.  
$$
]

则：

# [  
$$
n  
\approx  
2  
\left(  
\frac{1.96+0.84}{0.5}  
\right)^2
=
 2(5.6)^2
=
62.72.  
$$
]

所以每组约需 63 个样本，总样本量约为 126。

---

## 8. 为什么小效应需要大量样本

由公式：

[  
$$
n  
\propto \frac{1}{d^2}  
$$
]

可以看出，样本量与效应大小的平方成反比。

若效应大小减半：

[  
$$
d\to \frac d2,  
$$
]

则所需样本量变为：

# [  
$$
\frac{1}{(d/2)^2}
=
\frac{4}{d^2}.  
$$
]

也就是大约变成原来的 4 倍。

这解释了一个常见现象：**小效应不是不能检测，而是需要更多样本才能可靠检测。** 若样本量不足，小效应即使真实存在，也很容易因为噪声而检验不显著。

---

## 9. Power analysis 的几种类型

### 9.1 A priori power analysis

这是最常见、最重要的一类。它在实验前进行，目标是求样本量：

[  
$$
\text{给定 }\alpha,\ \text{power},\ \text{effect size}  
\quad  
\Rightarrow  
\quad  
\text{求 }n.  
$$
]

例如：

[  
$$
\alpha=0.05,\quad  
\text{power}=0.8,\quad  
d=0.5  
$$
]

求每组需要多少样本。

这种分析用于实验设计阶段。UCLA 关于多元回归 power analysis 的说明也把 a priori analysis 描述为：在给定 alpha、power、预测变量数量和效应大小时，用来确定所需样本量。([OARC Stats](https://stats.oarc.ucla.edu/other/gpower/multiple-regression-power-analysis/?utm_source=chatgpt.com "Multiple Regression Power Analysis - OARC Stats"))

---

### 9.2 Post hoc power analysis

这是实验完成后，根据观察到的效应大小和样本量计算 power。

但需要谨慎：如果使用同一批数据中观察到的效应大小来计算 post hoc power，那么它往往只是 p-value 的另一种表达，并不能真正提供额外信息。统计检验、p 值、置信区间和 power 都容易被误解，Greenland 等人的综述专门讨论了这些概念在科学研究中的长期误用问题。([PMC](https://pmc.ncbi.nlm.nih.gov/articles/PMC4877414/?utm_source=chatgpt.com "Statistical tests, P values, confidence intervals, and power - PMC"))

更有意义的做法通常是报告：

[  
$$
\text{效应大小}  
+  
\text{置信区间}  
+  
\text{样本量}  
$$
]

而不是单独依赖事后 power。

---

### 9.3 Sensitivity power analysis

这种分析问的是：

[  
$$
\text{给定 }n,\alpha,\text{power}  
\quad  
\Rightarrow  
\quad  
\text{最小可检测效应是多少？}  
$$
]

例如已经只能收集 100 个样本，那么可以计算：在 ($\alpha=0.05$)、power ($=0.8$) 下，最小能稳定检测到多大的效应。

这类分析适用于样本量受现实条件限制时。

---

### 9.4 Compromise power analysis

这种分析在 ($\alpha$) 和 ($\beta$) 之间做折中。它不是固定 ($\alpha$) 再求 power，而是根据总样本量和效应大小，寻找 I 类错误和 II 类错误之间的平衡。

这种用法不如 a priori analysis 常见，但在某些成本结构明确的问题中有意义。例如误报和漏报代价不同，可以根据代价选择 ($\alpha$) 和 ($\beta$)。

---

## 10. Power analysis 的实际步骤

一个严谨的 power analysis 通常按以下流程进行。

### 第一步：明确研究问题和检验形式

例如：

[  
$$
H_0:\mu_1=\mu_2  
$$
]

[  
$$
H_1:\mu_1\neq\mu_2.  
$$
]

需要先确定是单样本、两样本、配对样本、比例检验、相关分析、回归分析，还是更复杂的模型。不同模型的 power 公式不同。

---

### 第二步：确定显著性水平 ($\alpha$)

常用：

[  
$$
\alpha=0.05.  
$$
]

但这不是数学必然，而是研究规范选择。若误报代价很高，可以使用更小的 ($\alpha$)，例如：

[  
$$
\alpha=0.01.  
$$
]

---

### 第三步：确定目标 power

常见目标是：

[  
$$
0.8  
$$
]

或：

[  
$$
0.9.  
$$
]

power 越高，漏报概率越低，但需要更大样本量。

---

### 第四步：确定最小有意义效应大小

这是最关键的一步。

功效分析不应该只问：

[  
$$
\text{能否发现任意非零效应？}  
$$
]

因为在样本足够大时，极小效应也可能显著。更合理的问题是：

[  
$$
\text{希望检测到的最小实际有意义效应是多少？}  
$$
]

例如均值差至少达到 ($\delta$)，才有实际意义。若 ($\delta$) 设得过大，样本量会被低估；若 ($\delta$) 设得过小，样本量可能变得非常大。

---

### 第五步：估计方差或标准差

对于均值比较，需要估计：

[  
$$
\sigma.  
$$
]

可以来自先验研究、历史数据、pilot study 或领域知识。效应大小估计质量会直接影响 power analysis 的可靠性；UCLA 的两独立样本 t 检验教程也指出，效应大小估计通常来自已有文献或 pilot studies，而且它是功效分析中的关键。([OARC Stats](https://stats.oarc.ucla.edu/other/gpower/power-analysis-for-two-group-independent-sample-t-test/?utm_source=chatgpt.com "Power analysis for two-group independent sample t-test"))

---

### 第六步：计算样本量或 power

若模型简单，可以使用解析公式；若模型复杂，可以使用软件或模拟。常见工具包括 G_Power、R、Python、PASS、SAS、Stata 等。关于 G_Power 的综述指出，样本量和 power 计算应同时描述原假设、备择假设、效应大小、power、alpha、I 类错误和 II 类错误。([PMC](https://pmc.ncbi.nlm.nih.gov/articles/PMC8441096/?utm_source=chatgpt.com "Sample size determination and power analysis using the G ..."))

---

## 11. Power analysis 的常见误解

### 误解一：power 是“结果显著后，结论为真的概率”

不是。

[  
$$
\text{Power}=P(\text{拒绝 }H_0\mid H_1\text{ 为真})  
$$
]

而不是：

[  
$$
P(H_1\text{ 为真}\mid \text{拒绝 }H_0).  
$$
]

后者需要贝叶斯意义上的先验概率和似然信息。

---

### 误解二：power 高就保证一定显著

不是。

例如 power ($=0.8$) 表示：如果设定的真实效应存在，长期重复实验中大约 80% 会拒绝 ($H_0$)。仍然有：

[  
$$
20%  
$$
]

的概率不显著。

---

### 误解三：样本量越大越好

不完全正确。

样本量越大，确实通常 power 越高。但样本量过大时，极小、实际无意义的效应也可能显著。因此，必须区分：

[  
$$
\text{统计显著性}  
$$
]

和

[  
$$
\text{实际重要性}.  
$$
]

一个结果可能 ($p<0.001$)，但效应非常小，在实际问题中没有意义。

---

### 误解四：不显著说明没有效应

不一定。

不显著可能意味着：

[  
$$
\text{真实没有效应}  
$$
]

也可能意味着：

[  
$$
\text{样本量不足，power 太低}.  
$$
]

低 power 实验很容易产生 false negative，即漏掉真实存在的效应。

---

## 12. Power、置信区间和 p-value 的关系

p-value 回答的是：

[  
$$
P(\text{在 }H_0\text{ 为真时，观察到当前或更极端数据})  
$$
]

置信区间描述的是参数估计的不确定性范围。

power 描述的是：

[  
$$
P(\text{在指定 }H_1\text{ 为真时，检验能拒绝 }H_0).  
$$
]

三者关注的问题不同：

|概念|问题|
|---|---|
|p-value|当前数据在原假设下有多极端？|
|置信区间|参数可能落在哪个范围？|
|power|若指定效应真实存在，实验有多大概率发现它？|

因此，power 更偏向实验设计，p-value 和置信区间更偏向实验结果解释。

---

## 13. 总结

Power analysis 的本质是：
$$
\text{在实验前评估样本量是否足以发现一个有实际意义的效应。}  
$$
它围绕四个量展开：

$$
\alpha,\quad  
\beta,\quad  
\text{effect size},\quad  
n.  
$$

其中：

[  
$$
\text{Power}=1-\beta.  
$$
]

样本量越大、效应越大、噪声越小、显著性水平越宽松，power 通常越高。但合理的功效分析不应只追求显著性，而应围绕“最小实际有意义效应”设计实验。一个实验若 power 太低，即使真实效应存在，也很可能得不到显著结果；若只在实验后根据观察结果解释 power，也容易造成误读。