在强化学习中，状态价值函数、动作价值函数以及贝尔曼方程构成了整个马尔可夫决策过程（MDP）和序列决策理论的数学基石。无论是基础的动态规划，还是高级的深度强化学习（如 PPO、TD3、MADDPG），其本质都是对这些核心方程的近似与求解。

以下是关于这些概念的严格数学定义与推导。

## 一、 理论前提与符号定义

为了进行严谨的推导，我们需要先界定随机变量与系统动力学。

1. **马尔可夫决策过程 (MDP)**：定义为一个元组 $\langle \mathcal{S}, \mathcal{A}, p, \gamma \rangle$。
    
    - $S_t \in \mathcal{S}$ 为 $t$ 时刻的状态随机变量，$A_t \in \mathcal{A}$ 为动作随机变量。
        
    - $p(s', r | s, a) \doteq \mathbb{P}(S_{t+1}=s', R_{t+1}=r \mid S_t=s, A_t=a)$ 是环境的联合动力学函数，表示在状态 $s$ 执行动作 $a$ 后，转移到下一状态 $s'$ 并获得即时奖励 $r$ 的概率。
        
    - $\gamma \in [0, 1]$ 是折扣因子。
        
2. **策略 (Policy)**：$\pi(a|s) \doteq \mathbb{P}(A_t=a | S_t=s)$，表示在状态 $s$ 下选择动作 $a$ 的概率分布。
    
3. **折扣回报 (Discounted Return)**：定义为从时刻 $t$ 开始到回合结束所能获得的折扣奖励总和，记为随机变量 $G_t$：
    
    $$G_t \doteq R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \dots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$$
    
    这里存在一个极其重要的**递归结构**：
    
    $$G_t = R_{t+1} + \gamma \left( R_{t+2} + \gamma R_{t+3} + \dots \right) = R_{t+1} + \gamma G_{t+1}$$
    

## 二、 价值函数的严格定义

强化学习的目标是最大化期望回报。由于环境转移和策略本身都具有随机性，$G_t$ 是一个随机变量。我们通过对其求数学期望来评估状态或动作的好坏。

### 1. 状态价值函数 (State-Value Function) $v_\pi(s)$

定义为在策略 $\pi$ 下，从状态 $s$ 出发所能获得的**期望回报**：

$$v_\pi(s) \doteq \mathbb{E}_\pi [G_t \mid S_t = s]$$

**物理意义**：评价在给定策略下，智能体处于状态 $s$ 有多“好”。它是对未来无穷步奖励的一个标量压缩。

### 2. 动作价值函数 (Action-Value Function) $q_\pi(s, a)$

定义为在策略 $\pi$ 下，从状态 $s$ 出发，**首先执行动作 $a$**，随后遵循策略 $\pi$ 所能获得的期望回报：

$$q_\pi(s, a) \doteq \mathbb{E}_\pi [G_t \mid S_t = s, A_t = a]$$

**物理意义**：不仅评价当前状态的好坏，还评估在该状态下采取某个特定动作的优劣。

### 3. $v_\pi$ 与 $q_\pi$ 的内在联系

根据全概率公式（对动作 $a$ 进行边缘化），状态价值等于在该状态下所有可能动作价值的期望：

$$v_\pi(s) = \sum_{a \in \mathcal{A}} \pi(a|s) q_\pi(s, a)$$

## 三、 贝尔曼期望方程的推导 (Bellman Expectation Equations)

贝尔曼方程的核心思想是动态规划（Dynamic Programming）中的最优子结构：**当前状态的价值可以由下一状态的价值来表达**。这就是时序差分学习（TD Learning）中“自举（Bootstrapping）”操作的数学根源。

### 1. 推导状态价值函数的贝尔曼期望方程

利用回报的递归性 $G_t = R_{t+1} + \gamma G_{t+1}$，将期望展开：

$$\begin{align*} v_\pi(s) &= \mathbb{E}_\pi [G_t \mid S_t = s] \\ &= \mathbb{E}_\pi [R_{t+1} + \gamma G_{t+1} \mid S_t = s] \end{align*}$$

现在，我们需要根据随机变量发生的先后顺序将期望 $\mathbb{E}_\pi$ 具体化。从 $S_t=s$ 出发，首先根据策略 $\pi$ 采样动作 $a$，然后根据环境动力学 $p$ 采样下一个状态 $s'$ 和奖励 $r$：

$$\begin{align*} v_\pi(s) &= \sum_{a} \pi(a|s) \sum_{s', r} p(s', r \mid s, a) \left[ r + \gamma \mathbb{E}_\pi [G_{t+1} \mid S_{t+1} = s'] \right] \end{align*}$$

注意到最后一项 $\mathbb{E}_\pi [G_{t+1} \mid S_{t+1} = s']$ 严格等价于 $v_\pi(s')$，代入即得**状态价值的贝尔曼期望方程**：

$$v_\pi(s) = \sum_{a} \pi(a|s) \sum_{s', r} p(s', r \mid s, a) \big[ r + \gamma v_\pi(s') \big]$$

### 2. 推导动作价值函数的贝尔曼期望方程

同样的逻辑，考察 $q_\pi(s, a)$。此时当前的动作 $a$ 已经给定，因此最外层不需要对动作按照策略求期望，直接根据环境动力学展开：

$$\begin{align*} q_\pi(s, a) &= \mathbb{E}_\pi [G_t \mid S_t = s, A_t = a] \\ &= \mathbb{E}_\pi [R_{t+1} + \gamma G_{t+1} \mid S_t = s, A_t = a] \\ &= \sum_{s', r} p(s', r \mid s, a) \left[ r + \gamma \mathbb{E}_\pi [G_{t+1} \mid S_{t+1} = s'] \right] \end{align*}$$

同样，这里的 $\mathbb{E}_\pi [G_{t+1} \mid S_{t+1} = s']$ 就是 $v_\pi(s')$：

$$q_\pi(s, a) = \sum_{s', r} p(s', r \mid s, a) \big[ r + \gamma v_\pi(s') \big]$$

为了得到一个纯粹关于 $q$ 的递归方程，我们将前文提到的公式 $v_\pi(s') = \sum_{a'} \pi(a'|s') q_\pi(s', a')$ 代入，得到**动作价值的贝尔曼期望方程**：

$$q_\pi(s, a) = \sum_{s', r} p(s', r \mid s, a) \left[ r + \gamma \sum_{a'} \pi(a'|s') q_\pi(s', a') \right]$$

## 四、 贝尔曼最优方程 (Bellman Optimality Equations)

解决强化学习问题的最终目标是寻找**最优策略 $\pi_*$**。当存在一个策略，其在所有状态下的价值都不低于其他任何策略时，该策略即为最优策略。

- **最优状态价值函数**：$v_*(s) = \max_\pi v_\pi(s)$
    
- **最优动作价值函数**：$q_*(s, a) = \max_\pi q_\pi(s, a)$
    

在最优策略下，智能体不再遵循某个概率分布 $\pi(a|s)$ 去盲目采样动作，而是**确定性地选择具有最高期望回报的动作**。因此，公式中的求和 $\sum_{a} \pi(a|s)$ 被 $\max_a$ 操作所取代。

### 1. 贝尔曼最优方程的推导

最优状态价值必须等于在该状态下执行最优动作所获得的价值：

$$v_*(s) = \max_{a \in \mathcal{A}} q_*(s, a)$$

将其代入前文的动作价值表达式，得到**最优状态价值的贝尔曼最优方程**：

$$v_*(s) = \max_{a} \sum_{s', r} p(s', r \mid s, a) \big[ r + \gamma v_*(s') \big]$$

反过来，考察最优动作价值。即使当前动作 $a$ 给定，到达下一个状态 $s'$ 后，由于遵循的是最优策略，未来的动作依然是使得 $q$ 最大的动作。将 $v_*(s') = \max_{a'} q_*(s', a')$ 代入，得到**最优动作价值的贝尔曼最优方程**：

$$q_*(s, a) = \sum_{s', r} p(s', r \mid s, a) \left[ r + \gamma \max_{a'} q_*(s', a') \right]$$

## 五、 方程的理论意义与算法映射

上述方程虽然是精确的解析形式，但它们构成了几乎所有主流强化学习算法的演进基石：

1. **动态规划 (DP) 的基础**：如果环境模型 $p(s',r|s,a)$ 完全已知，贝尔曼方程构成了一个非线性方程组。通过**策略评估 (Policy Evaluation)** 和**价值迭代 (Value Iteration)**，可以直接将其转化为更新规则（即将等号化为赋值符号 $\leftarrow$）来精确求解。
    
2. **向无模型 (Model-Free) 与 TD 学习的过渡**：当环境模型 $p$ 未知时，我们无法精确计算期望。因此引出了**时序差分学习 (TD Learning)**。
    
    - 以 Q-Learning 为例，其核心更新公式：
        
        $$Q(S_t, A_t) \leftarrow Q(S_t, A_t) + \alpha \left[ R_{t+1} + \gamma \max_{a'} Q(S_{t+1}, a') - Q(S_t, A_t) \right]$$
        
        本质上就是对**贝尔曼最优方程 $q_*$** 的随机近似。由于无法遍历 $p(s', r|s, a)$，算法通过在环境中采样真实的经验 $(S_t, A_t, R_{t+1}, S_{t+1})$ 来近似期望值，而 $[R_{t+1} + \gamma \max_{a'} Q(S_{t+1}, a')]$ 正是贝尔曼目标的经验样本，即 TD Target。