STUDY NOTEBOOK
强化学习学习笔记专题
由 52 份有效原始笔记整理为 34 篇中英文文章。
整理版合并重复讨论，统一定义和公式，连接经典文献与实验方法；每篇提供完整原始 Markdown 下载。原始笔记不等于已核验的论文证据，正文区分推导、研究建议与报告结果。
共 25 篇主题指南与 9 条文献阅读；保留 51 份不同内容的来源笔记。重复副本映射到同一专题，空白占位不单独发布。
来源、去重映射与校验清单 (.json) →RL 理论与概率基础6
- MDP、价值函数与 Bellman 误差
从 Bellman 方程到 MSBE、MSPBE、TD error 与双采样问题。
- 概率测度、经验测度与 RL 占据分布
统一概率核、轨迹分布、平稳分布及折扣占据测度的记号。
- 收缩映射、不动点与随机逼近
区分确定性 Bellman 收缩与带噪递推的收敛条件。
- On-policy、Off-policy 与经验回放
合并完全重复笔记，梳理行为策略、目标策略及数据分布偏移。
- Potential-Based Reward Shaping
用望远镜求和解释策略不变性，明确终止状态与奖励尺度的条件。
- 马尔可夫性、部分观测与 RNN 记忆
区分物理状态、观测、历史和 belief，避免将 RNN 隐状态当作充分统计量。
策略优化与动作建模7
- 策略梯度、REINFORCE 与替代目标
从轨迹似然推导梯度，并解释 baseline、PPO clipping 与 KL 诊断。
- Eligibility Traces 与 TD(λ)
整理前向 λ-return、后向资格迹、在线等价条件和终止边界。
- 行为克隆、动作分桶与多模态动作
从监督损失到闭环分布偏移，比较回归、分类及离散加残差建模。
- Diffusion Policy：分布建模与控制时序
作为已有 P08 的深化笔记，梳理去噪时间、动作块与执行闭环。
- 离线 RL 与价值外推误差
解释数据支持域之外的价值估计、max backup 与误差传播。
- 重参数化与路径导数
推导高斯重参数化、tanh 密度修正和适用边界。
- 最大熵 RL、SAC 与对偶温度调节
合并五份笔记，修正温度梯度符号及 off-policy 与 offline 的混淆。
抽象、层级与任务适配4
- Options、SMDP 与 Intra-option Learning
统一时间抽象、持续时间折扣和跨 option 的样本复用。
- MDP Homomorphism 与状态动作抽象
区分奖励/转移保持、策略提升、互模拟与近似表示。
- Goal-Conditioned RL、UVFA 与 HER
对齐目标条件价值、事后目标重标记和层次控制接口。
- Meta-RL：任务分布与快速适应
梳理基于优化、上下文推断与循环记忆的适应路径。
多智能体与实验评价5
- IPPO、COMA 与多智能体梯度方差
修正 COMA 拼写，比较独立学习、集中式 critic 与反事实信用分配。
- RL 实验统计、置信区间与调参预算
分清随机种子与 episode，整理功效分析、bootstrap、IQM 和调参泄漏。
- 单智能体 RL Benchmark 选型与指标
合并五份调研，按控制、视觉泛化、离线数据及具身任务选择基准。
- 多智能体 RL Benchmark 与协作评价
按合作、竞争、混合动机、局部观测及跨伙伴泛化整理 MARL 基准。
- 可复现的 RL 实验与报告协议
统一环境版本、训练预算、checkpoint 选择、独立测试和统计汇总。
工程机制与具身研究3
- 仿真器、World Model 与规划
说明实验环境、学习动力学模型及内部 rollout 的不同职责。
- 具身 RL、LLM/VLA 与研究问题设计
把样本效率、任务适配、奖励和时序问题转为可比较的研究实验。
- TD7 Policy Checkpoints：训练与评估分离
区分候选策略、已部署策略、assessment 与独立 evaluation。
经典论文、观点与教材9
- 深度策略梯度的理论与实证差距
梯度估计、价值预测与替代目标景观的实证审查。
- Deep RL That Matters：补充材料与复现方法
随机种子、网络结构、奖励尺度和代码实现如何改变算法比较。
- Era of Experience：经验驱动学习观点
区分经验驱动学习范式与 world model 这一模型机制。
- GTD2 与 TDC：线性函数逼近下的梯度 TD
以 MSPBE 和辅助变量连接 off-policy 稳定性与线性复杂度。
- For SALE / TD7：状态动作表征学习
区分 SALE 表征目标、TD7 工程组件及实证结论的适用范围。
- GAE：优势估计的偏差与方差
由 TD 残差构造优势，连接 reward-to-go、λ-return 和 critic 误差。
- 策略梯度定理与兼容函数逼近
明确占据分布、兼容特征和函数逼近的理论条件。
- Potential-Based Shaping 与 Q 值初始化等价
通过 Q 值平移解释奖励塑形与初始化的路径等价条件。
- Sutton & Barto：强化学习教材阅读路线
从表格方法、函数逼近到探索与近似策略梯度的章节路线。
建议阅读路线
- 理论：MDP / 概率 → 收缩与随机逼近 → TD / 资格迹 → 策略梯度 / GAE。
- 控制：行为克隆 / bins → Diffusion Policy → SAC / 表征学习 → 目标、Options 与 Meta-RL。
- 实验：Benchmark 选型 → 统计与调参 → 可复现协议 → 具身研究问题。