下面总结 **Supplemental Material**。该补充材料是主文实验结论的“证据展开版”：主文提出 deep RL 复现困难；补充材料则把相关文献的实验配置、作者自己的完整实验设置、更多曲线、代码库比较和显著性检验全部展开。论文 arXiv 页面显示该工作为 AAAI 2018 论文，核心目标是研究 deep RL 结果的可复现性、实验技术和报告规范问题。([arXiv](https://arxiv.org/abs/1709.06560 "[1709.06560] Deep Reinforcement Learning that Matters"))

## 1. 补充材料的总体目的

Supplemental Material 主要做四件事：

1. **整理已有 policy gradient 文献中的实验配置**；
    
2. **列出作者实验使用的完整超参数**；
    
3. **展示主文中未完全展开的大量实验曲线**；
    
4. **补充显著性检验、bootstrap 置信区间和 power analysis 的完整结果**。
    

也就是说，Supplemental Material 不是提出新算法，而是支撑主文核心论点：  
**deep RL 的实验结果高度依赖超参数、随机种子、环境、代码库和评价方式，因此算法比较必须更加规范。**

---

## 2. 文献配置综述：已有 deep RL 实验报告并不统一

补充材料首先回顾相关 policy gradient 文献在 MuJoCo / OpenAI Gym 连续控制任务中的配置。重点发现是：不同论文使用的网络结构、激活函数、reward scaling、batch size、评价指标都不一致。

例如，表 4 对比了 DDPG、TRPO、PPO、ACKTR、Q-Prop、IPG、Parameter Noise、Benchmarking 等工作中的配置。可以看到：

|方法/工作|策略网络|值函数或 Q 网络|激活函数|reward scaling|batch size|
|---|---|---|---|---|---|
|DDPG|(64\times64)|(64\times64)|ReLU|1.0|128|
|TRPO|(64\times64)|(64\times64)|tanh|—|5k|
|PPO|(64\times64)|(64\times64)|tanh|—|2048|
|Q-Prop/DDPG|(100\times50\times25)|(100\times100)|tanh/ReLU|0.1|64|
|Benchmarking/DDPG|(400\times300)|(400\times300)|ReLU|0.1|64|

这个对比说明：所谓“同一个 baseline 算法”并不代表实验设置相同。DDPG、TRPO 等名称背后，可能对应不同网络规模、激活函数、奖励尺度和 batch size。

---

## 3. 已有文献的报告结果本身差异很大

补充材料进一步比较 Hopper-v1 和 HalfCheetah-v1 上已有文献的报告结果。核心结论是：**不同论文中同一算法的结果可能相差很大**。

例如 TRPO 在 Hopper 和 HalfCheetah 上，不同文献或不同代码库得到的 average return / max average return 并不一致。补充材料还列出不同工作使用的 trial 数量：有些使用 5 个随机种子，有些使用 3 个，有些甚至报告 top-2、top-3 或 top-5 结果。

这说明：如果一篇论文只报告最优若干 runs，或者只使用很少随机种子，就可能高估算法性能。更严格地说，实验结果应被看成随机变量：

# [  
Y

f(  
\text{algorithm},  
\text{environment},  
\text{codebase},  
\text{hyperparameters},  
\text{random seed}  
).  
]

只报告一个 (Y)，不能代表算法真实性能分布。

---

## 4. 作者自己的实验设置

补充材料详细列出作者使用的默认实验设置。实验对象包括：

[  
\text{DDPG},\quad \text{TRPO},\quad \text{PPO},\quad \text{ACKTR}.  
]

环境主要包括 Hopper-v1 和 HalfCheetah-v1，后续也涉及 Walker2d-v1、Swimmer-v1 等。每个实验通常运行 5 个不同随机种子，并报告均值与标准误。

主要默认配置包括：

**DDPG**：

[  
\text{Actor LR}=10^{-4},\quad  
\text{Critic LR}=10^{-3},\quad  
\gamma=0.995,  
]

reward scale 为 1.0，batch size 为 128，使用 OU noise 0.2，target network soft update 系数 (\tau=0.01)。

**PPO**：

[  
\gamma=0.995,\quad  
\lambda_{\text{GAE}}=0.97,  
]

clip parameter 为 0.2，optimizer step size 为 (3\times10^{-4})，每次优化 10 个 epochs。

**TRPO**：

max KL 为 0.01，conjugate gradient iterations 为 20，GAE (\lambda=0.97)，value function step size 为 (10^{-3})。

**ACKTR**：

desired KL 为 0.002，策略网络使用 tanh，值函数网络使用 ELU，batch timesteps 为 2500。

此外，作者还修改了 OpenAI Baselines 中 DDPG 的评价方式：原实现中 evaluation 可能跨多个不同策略片段；作者改为在每个 epoch 结束时，用同一个 target policy 评估 10 条完整轨迹。GitHub accompanying code 也说明了该修改，目的是使 DDPG 的评价方式更接近 rllab 版本并便于和其他算法比较。([GitHub](https://github.com/Breakend/DeepReinforcementLearningThatMatters "GitHub - Breakend/DeepReinforcementLearningThatMatters: Accompanying code for \"Deep Reinforcement Learning that Matters\" · GitHub"))

---

## 5. 网络结构与激活函数实验

Supplemental Material 用大量图补充主文的超参数敏感性分析。实验改变：

[  
(64,64),\quad  
(100,50,25),\quad  
(400,300)  
]

这些网络结构，以及：

[  
\tanh,\quad \text{ReLU},\quad \text{Leaky ReLU}  
]

这些激活函数。

分析对象包括 PPO、ACKTR、TRPO、DDPG 的 policy network、value network、actor network 和 critic network。补充图 7–19 展示不同结构和激活函数下的学习曲线。核心结论是：**网络结构和激活函数不是无关紧要的实现细节，而是会显著改变 baseline 性能的实验变量。**

机制上，网络结构改变的不只是函数逼近能力，也改变梯度尺度、优化路径、策略更新幅度和 critic 估计误差。尤其在 actor-critic 中，critic 的误差会进一步影响 actor 的更新方向，因此结构差异可能被放大。

---

## 6. DDPG reward scaling 实验

补充材料专门分析 DDPG 的 reward scaling 参数。reward scaling 形式是：

[  
\hat r = \sigma r.  
]

作者在 Hopper-v1 和 HalfCheetah-v1 上测试多个尺度：

[  
10^{-4},\ 10^{-3},\ 10^{-2},\ 10^{-1},\ 1,\ 10,\ 100.  
]

结果显示，reward scaling 对 DDPG 性能和稳定性有显著影响。非常小或近似忽略的 reward scale 会明显损害 DDPG 表现；在作者实验中，尺度 1 或 10 往往表现较好。补充材料因此建议：如果把 DDPG 作为 baseline，reward scaling 参数应针对具体环境调节，而不能默认忽略。

其原因是 DDPG 依赖 Q-learning 型 critic target：

# [  
y

r+\gamma Q_{\text{target}}(s',\mu_{\text{target}}(s')).  
]

奖励尺度改变会改变 TD target、critic loss 梯度、Q 值数值范围，以及 actor 接收到的 (\nabla_a Q(s,a)) 梯度尺度。因此 reward scaling 在深度函数逼近下不是简单的单位变换。

---

## 7. TRPO batch size 实验

补充材料还分析 TRPO 的 batch size。作者分别在原始 TRPO 代码和 OpenAI Baselines TRPO 代码中测试：

[  
1024,\ 2048,\ 4096,\ 8192,\ 16384,\ 32768.  
]

结果显示，在 HalfCheetah-v1 和 Hopper-v1 中，batch size 为 1024 时表现最好；batch size 增大后性能反而逐步下降。

这个结论反直觉但很重要：在 deep RL 中，更大的 batch 并不必然带来更好的性能。原因可能包括：更大的 batch 降低更新频率、改变采样分布滞后程度、影响 trust region 更新的实际效果。因此 batch size 也是 baseline 公平比较中必须报告和调节的关键变量。

---

## 8. 随机种子实验

补充材料扩展了主文的 random seed 分析。作者在固定超参数的情况下运行 10 次实验，然后随机分成两组，每组 5 个 seeds，分别画平均曲线。

结果表明：**同一算法、同一环境、同一超参数，仅改变随机种子，就可能得到明显不同的学习曲线**。补充材料在 TRPO 和 DDPG 上均展示了这种现象。

这说明 deep RL 的性能评估不应依赖单次运行，也不应只选择 top-k runs。更合理的做法是估计随机种子诱导的性能分布：

[  
\mathbb E_s[Y_s],  
\qquad  
\operatorname{Var}_s[Y_s].  
]

如果方差很大，只报告均值也不够，还需要置信区间或其他不确定性度量。

---

## 9. 环境差异实验

补充材料展示不同算法在 HalfCheetah、Hopper、Walker2d、Swimmer 等环境中的完整结果。结论是：**算法排名依赖环境，不存在一个简单全局最优算法。**

例如，DDPG 在较稳定的 HalfCheetah 上可能表现较强，但在 Hopper 这类更不稳定环境中表现下降；TRPO/PPO 在某些环境中更稳定。补充材料用更多曲线说明：环境动力学、失败终止机制、reward 结构和轨迹长度都会影响算法比较。

因此，只挑选某些有利环境报告结果，会使算法优势被夸大。

---

## 10. 代码库比较

Supplemental Material 对代码库差异进行了更完整比较。作者比较了：

- TRPO 的 OpenAI Baselines 实现；
    
- TRPO 原始 Schulman 2015 实现；
    
- rllab TensorFlow TRPO；
    
- DDPG 的 rllab Theano 实现；
    
- rllabplusplus / Q-Prop DDPG；
    
- OpenAI Baselines DDPG。
    

结果显示：**代码库实现差异会显著影响最终性能**。补充材料进一步展示不同代码库下网络结构、激活函数改变产生的学习曲线。主文和补充材料都强调，baseline 实现必须尽量匹配原论文结果，代码和配置应随论文发布。

GitHub 仓库也显示作者提供了 baselines、rllab、rllabplusplus、modular_rl 和 significance testing tools 等相关代码与脚本；其中 tools 部分说明 bootstrap 分析使用 bootstrapped repo，t-test 和 KS test 使用 scipy 工具。([GitHub](https://github.com/Breakend/DeepReinforcementLearningThatMatters "GitHub - Breakend/DeepReinforcementLearningThatMatters: Accompanying code for \"Deep Reinforcement Learning that Matters\" · GitHub"))

---

## 11. 显著性检验与统计分析

补充材料最后给出完整 significance testing 结果，包括表 9–12：

- HalfCheetah significance values；
    
- Hopper significance values；
    
- Walker2d significance values；
    
- Swimmer significance values。
    

每个算法对比单元格中包含三类指标：

[  
\text{2-sample t-test},  
]

[  
\text{Kolmogorov-Smirnov test},  
]

[  
\text{bootstrap A/B comparison percent difference with 95% confidence bounds}.  
]

这些表格展示：有些平均回报差异看起来较大，但由于置信区间重叠或方差较高，并不能稳定判定显著优劣。

补充材料还给出 bootstrap mean 和 95% confidence bounds，以及针对 25% lift 的 power analysis。power analysis 的含义是：假设某算法真实提升 25%，在当前样本量下，有多大概率能检测出显著差异。若大量模拟仍不显著，说明当前随机种子数量不足，需要更多 trials。

---

## 12. 补充材料的核心结论

Supplemental Material 的核心结论可以概括为：

[  
\text{deep RL 实验性能}  
\neq  
\text{算法名称本身的确定函数}.  
]

更准确地说：

# [  
Y

f(  
\text{algorithm},  
\text{environment},  
\text{codebase},  
\text{network architecture},  
\text{activation},  
\text{reward scale},  
\text{batch size},  
\text{random seed},  
\text{evaluation protocol}  
).  
]

因此，深度强化学习实验报告至少应包含：

- 完整超参数；
    
- 网络结构与激活函数；
    
- reward scaling；
    
- batch size；
    
- 随机种子数量；
    
- 所有 seeds 的统计结果；
    
- 标准误或置信区间；
    
- 显著性检验；
    
- 环境版本；
    
- baseline 代码库；
    
- evaluation protocol；
    
- 是否选择 top-k runs。
    

---

## 13. 简要总评

Supplemental Material 的作用是把主文的可复现性论证“实证化”。主文说 deep RL 实验容易被误读；补充材料则通过大量表格和曲线说明：

1. 文献中的 baseline 配置并不统一；
    
2. 同一算法在不同代码库中表现不同；
    
3. 网络结构、激活函数、reward scaling、batch size 会显著改变结果；
    
4. 随机种子足以导致完全不同的学习曲线；
    
5. 平均回报和最高回报不足以支持算法优劣判断；
    
6. bootstrap、置信区间、t-test、KS test、power analysis 是更可靠的比较工具。
    

因此，该补充材料的真正意义不是“补充更多实验图”，而是说明：**deep RL 的实验比较必须从单点结果报告转向分布式、统计化、可复现的实验报告。**