**Era of Experience（经验时代）**，核心不是“AI 再多用一点 RL”，而是**AI 的主要改进来源发生了范式切换**：从“主要靠人类写下来的数据和人类偏好监督”，转向“主要靠智能体自己与环境交互所产生的经验数据”。David Silver 在 Google DeepMind 的官方播客里把它明确对照为当前的 **era of human data**；相关后续论文和综述也把它概括为：环境不再只是测试场，而变成持续产生训练信号的数据源。

更严格地说，这个概念包含四个同时发生的变化，而不是单一技术点。第一，**interaction 从短回合变成长时程 stream**：系统不再只做“一问一答”，而是在几个月、几年尺度上累积状态、记忆和行为后果。第二，**action/observation 要扎根到环境**：不只是文本进、文本出，而是能操作工具、软件、设备、传感器，甚至物理系统。第三，**reward 要来自环境后果本身**，而不只是人类专家预先判断“这个回答看起来好不好”。第四，**planning/reasoning 要围绕真实后果展开**，也就是围绕世界中的因果结果而不是只围绕人类语言里的“像不像正确推理”展开。

所以，如果把它翻成强化学习语言，**Era of Experience 本质上是在把 today’s AI 从“模仿问题”重新拉回“控制问题”**。在人类数据时代，目标更接近于：
$$
\pi(a\mid x)\approx \pi_{\text{human}}(a\mid x)
$$
也就是尽量模仿人类给出的动作、文本、偏好。
 而在经验时代，目标更接近于：
$$
\max_\pi \mathbb{E}\Big[\sum_{t=0}^{T}\gamma^t r_t\Big]
$$
其中轨迹数据 $\tau=(o_0,a_0,o_1,\dots)$ 主要由**智能体自己 interacting with the environment** 产生，奖励 $r_t$ 主要来自环境中的真实结果。换句话说，评价标准从“像不像人”转向“动作之后世界有没有真的朝目标变化”。这一点正是 Silver 在官方播客中拿 AlphaGo/AlphaZero 与 LLM 做对比时强调的：前者通过与环境反复交互而不是依赖先验人类知识，获得了超越人类的策略。

它也**不等于旧的“simulation era”简单回归**。旧式 RL 的强项，是在**封闭仿真环境 + 单一清晰奖励**里反复试错，比如棋类、游戏、受控物理任务；但这些方法过去很难直接跨到开放世界，因为现实任务通常是长时程、部分可观测、奖励稀疏且多目标的。经验时代想做的，是把 RL 从“封闭仿真里的窄任务优化”扩展成“开放环境里的长期自主适应”。后续研究把这件事概括成：从 simulator 中的固定问题，走向 environment 持续供给数据、反馈和任务变化的开放系统。

作者为什么认为**现在**到了这个转折点？逻辑有两层。第一层是负面的：高质量人类数据和人类偏好监督正在变成瓶颈，继续纯靠静态人类数据，很多领域会越来越接近“知识上限”。第二层是正面的：已经出现了一批系统，证明**经验驱动的改进**可以带来超越模仿的能力，例如 AlphaZero 从零自博弈学出新策略，MuZero 在不知道规则的情况下学习规划，AlphaProof 在可验证的 Lean 环境中通过 RL 学会发现形式证明。也就是说，必要的算法部件——交互环境、可验证反馈、规划、world model、search——已经开始拼接起来了。

如果把它压缩成一句最本质的话：

>  **Era of Experience = 让智能体通过长期、扎根、可反馈的真实交互，自主地产生训练数据、修正策略、改进世界模型，并以环境中的长期结果作为主要优化依据。** 

你也可以把两代范式的差别记成这组对照：

- **Human Data**：别人告诉你世界是什么样、什么答案更像好答案。
- **Experience**：你自己行动，观察后果，再根据后果修正自己。 

再更严格一点，从机制上看，它要求 AI 系统补上几类过去被弱化的 RL 核心问题：**continual learning、credit assignment、exploration、world modeling、temporal abstraction、grounded reward design**。所以它不是在说“LLM 无用了”，而是在说：**仅靠语言模仿和人类偏好对齐，不足以产生真正可持续增长的超人能力；下一阶段必须把 agent 放回环境里。** 





二者的关系可以概括成一句话：

> **Era of Experience（经验时代）是一个更大的训练范式；world model（世界模型）是这个范式里一类非常关键、但不等同于整个范式的机制。** Google DeepMind 在 David Silver 的播客介绍里把 “Era of Experience” 定义为：相对于当前主要依赖人类数据与人类反馈的 “era of human data”，未来 AI 将更多通过与环境交互产生的经验来学习；而 DeepMind 对 world model 的官方表述是：它是能够利用对世界的理解来模拟世界某些方面的系统，从而让智能体预测环境如何演化，以及自己的动作会如何影响环境。

更严格地分层来看，**Era of Experience 回答的是“智能体主要靠什么变强”**，而 **world model 回答的是“智能体靠什么在内部预测后果、做规划”**。前者是数据来源与学习范式的问题：训练信号主要来自环境交互、长期经验流、扎根奖励，而不是主要来自静态人类语料和人类预判。后者是内部表征与计算的问题：智能体学到一个近似环境动力学的模型，用它来预测
$$
p(s_{t+1}, r_t, o_{t+1}\mid s_t,a_t)
$$
或其近似，从而在真正行动前先估计未来后果。也就是说，**经验时代是外层问题，world model 是内层机制。**

为什么经验时代会特别强调 world model？因为一旦任务从“短回合文本响应”变成“长时程、扎根、自主交互”，智能体就不能只靠局部模式匹配了，而必须估计动作的长期后果。DeepMind 对 Genie 3 的官方介绍明确把 world model 说成是让智能体能够预测“环境会如何演化、动作会如何影响环境”的系统，并把这类能力和 reasoning、problem solving、real-world actions 联系起来；这正对应经验时代里的 planning/reasoning 需求。换句话说，**经验时代要求智能体在真实或近真实的因果结构上做决策，而 world model 正是把“动作—环境—后果”链条显式建模的工具。**

但二者**不是一回事**。一个有用的区分是：

- **Era of Experience**：训练范式，强调从环境交互中持续学习。
- **world model**：模型部件，强调在内部模拟或预测环境演化。

所以不能把 “进入经验时代” 简化成 “一定要有 world model”。一篇 2025 年的视角论文就明确把经验时代中的 agent 分成三类：带**完美 world model** 的、带**学习得到的 world model** 的，以及**没有 world model** 的 model-free 框架，分别类比 AlphaZero、MuZero 和 DQN 一类方法。这个观点本身是研究者视角，不是行业共识定义，但它很好地说明：**经验时代并不逻辑上等于 explicit world model；world model 是强工具，不是定义本身。**

如果再从 RL 机制上说，二者的关系大概是这样的：

1. **经验时代提供训练信号。**
	 智能体与环境交互，得到轨迹、奖励、失败和成功案例。DeepMind 在 “Is human data enough?” 的介绍里用 AlphaGo/AlphaZero 作为例子，强调这条路径依赖交互式学习而不是先验人类知识。
2. **world model压缩并组织这些经验。**
	 它把零散经验变成关于环境动力学的可泛化内部表示，于是智能体不必每次都靠真实试错。DeepMind 对 Genie 3 的表述就是：world models 让系统能够“simulate aspects of the world”，这本质上是在把经验组织成可推演的结构。
3. **有了 world model，经验可以被反复“内用”。**
	 真实交互一次之后，智能体可以在内部 rollout、比较不同动作序列、做 counterfactual evaluation。于是经验时代不只是“采样更多”，而是“把采到的经验转化成可规划的因果知识”。这一点正是 world model 在经验时代中的核心价值。

所以，如果你问二者的**本质关系**，我会这样表述：
$$
\text{Era of Experience} \supset \text{world-model-based learning/planning}
$$
也就是：**world model 是经验时代中的一个重要子机制，而不是经验时代本身。** 经验时代关注的是“学习信号来自哪里、行为如何跨时间改进”；world model 关注的是“智能体如何把经验变成对世界的内部预测能力”。前者决定 AI 是否真正从环境中学习，后者决定 AI 是否能把这些经验转化为高效的 long-horizon planning。

你也可以把它们记成一句更直白的话：

> **Era of Experience 让智能体“去世界里学”；world model 让智能体“把学到的世界装进脑子里”。** 这两者高度协同，但层级不同。