RL 实验统计、置信区间与调参预算 · LFM

先确定统计单位

一个训练 seed 得到一个训练过程；对同一个训练模型评估多个 episode，主要减少该模型的评估噪声，不能替代更多独立训练。多个 transition、checkpoint 或同一轨迹片段也不是独立算法 runs。实验的随机单位决定误差条与 bootstrap 应在哪一层计算。

对独立 seed 级统计 $Y_1,\ldots,Y_n$ ，

\bar Y=\frac1n\sum_iY_i,\qquad s^2=\frac1{n-1}\sum_i(Y_i-\bar Y)^2,\qquad \widehat{SE}(\bar Y)=\frac{s}{\sqrt n}.

标准差描述结果分散，标准误描述均值估计精度；二者不能在图注中互换。置信区间需要说明方法、统计量及抽样单位。

显著性水平 $\alpha$ 控制第一类错误，功效 $1-\beta$ 取决于效应量、样本量、方差、检验和设计。不存在不依赖任务的“5 个 seeds 就足够”规则。预实验可以估计量级，再按有实际意义的差异确定预算；结果应同时报告效应大小和不确定性，而不是只给 p-value。

若同时比较许多环境、方法和 checkpoint，要解释多重比较和选择规则。未拒绝零假设并不证明两个方法等价；等价性或非劣效问题需要自己的界限和设计。

原始回报尺度差异很大，应固定参考分数再归一化。IQM 保留中间 50% 的分数并求平均，降低尾部极端值影响，但不是取消不确定性的办法。Stratified bootstrap 可在任务和 seed 的相应层次重采样；若声明对新任务泛化，应另外明确任务本身是否也是抽样对象。

Performance profile、达到阈值所需预算、probability of improvement 与逐任务结果提供互补信息。学习曲线 AUC 必须使用相同横轴区间和积分约定。

Grid search 对预先列出的组合逐项评估。记录空间、配置数量、每配置 seed 数、选择数据与总计算预算；连续参数不应以不合理的线性刻度覆盖多个数量级。测试集不能反复用于选模型。原笔记中的经验测度理论已关联到概率专题。