- 先澄清一个边界：**RLHF 不包括从零预训练**。预训练模型是 RLHF 的起点，不是 RLHF 本身。 真实的大厂流程通常不是“先造一个小 LLM 再对齐”，而是从一个已经训练好的 base model 或 checkpoint 出发，围绕数据、偏好、奖励和稳定性做后训练。 |MDP 对象|CartPole|LLM RLHF| |---|---|---| |状态 st​|小车位置、速度、杆子角度|prompt + 已生成 token| |动作 at​|左推 / 右推|下一个 token| |策略 πθ​|控制网络|语言模型| |奖励 R|存活 +1|RM 分数、规则奖励、人类偏好| |episode|杆子倒下前的一局|从开始回答到 EOS 的一段生成| 所以 RLHF 不是“把 RL 强行套到 LLM 上”，而是把 LLM 生成过程视为一个高维序列决策问题。区别 在于：LLM 的奖励来自人类偏好或奖励模型；LLM 往往整段回答结束后才有反馈。 | 演进 | 解决的问题 | 代价 | | -------------- | --------------- | ------------------ | | PG → REINFORCE | 形式化策略梯度 | 方差大 | | REINFORCE → AC | 引入 baseline 降方差 | 需要 Critic 网络 | | AC → TRPO | 限制策略更新幅度 | 约束优化复杂 | | TRPO → PPO | 简化约束为 clip | 超参 ϵ 敏感 | | PPO → GRPO | 省掉 Critic | 组大小敏感、丢失 token 级信号 | #### DPO 家族对比 |方法|核心改动|解决的问题| |---|---|---| |**DPO**|BT 模型 + KL 约束闭式解|免去 RM 训练和 RL 循环| |**IPO**|用 squared loss 替代 log-sigmoid|DPO 在偏好强时过拟合| |**KTO**|用 Kahneman-Tversky 效用函数|不需要成对数据，只需好坏标签| |**SimPO**|移除 reference model，用长度归一化|省掉 ref 模型，部署简单| |**ORPO**|SFT 和偏好优化合二为一|不需要单独 SFT 阶段| | 厂商 | 旗舰模型 | RL 算法 | 工业贡献 | | ----------------- | ---------------- | --------------- | -------- | | **DeepSeek** | R1, V3.2 | GRPO + 改进 | 透明度、开源 | | **阿里 Qwen** | Qwen3 系列 | GSPO | MoE 训练稳定 | | **字节 Seed** | 豆包 Pro, Seedance | DAPO + VAPO | 多线并行 | | **Moonshot Kimi** | K2, K2.5 | GRPO + MuonClip | 训练稳定工具 | | **智谱 GLM** | GLM-4.6 | GSPO-style | 开源 MoE | | **MiniMax** | M1, M2 | CISPO | 低精度训练 | | **StepFun** | Step3 | 内部方法 | 推理 + 多模态 | |算法|核心创新|解决的痛点|典型适用场景|代表用户| |---|---|---|---|---| |**GRPO**|组内均值替代 Critic|Critic 显存开销|通用 RLHF / RLVR|DeepSeek-R1| |**Dr.GRPO**|移除 std 归一化|长度膨胀、reward hacking|数学推理|Qwen 内部| |**GSPO**|序列级 IS|MoE 训练不稳定|MoE 模型 RL|Qwen3 全系| |**CISPO**|裁剪 IS 权重|Token 丢失、精度对齐|Lightning attention、低精度|MiniMax M1| |**VAPO**|重新引入 value model|长 CoT 信用分配|推理模型训练|字节 Seed| |**DAPO**|4 项工程改造|训练效率、长度控制|数学 / 代码 RL|字节 + 清华| |**RPT**|RL 引入预训练|预训练-后训练边界|下一代基座模型|Microsoft 研究| ### Agentic Loop 四者循环：**感知观测 → 推理下一步 → 执行动作 → 接收新观测**，直到满足终止条件（任务完成、达到最大步数、模型输出结束信号）。 RAGEN 等系统论文提醒我们，Agentic RL 不只是"把 GRPO 套到 tool call 上"，而是要同时设计环境、采样、奖励、稳定训练和评估 ### 长程决策——早期动作塑造后续状态分布 ### 环境随机性导致 reward variance 飙升 ### Rollout 设计——三个被忽视的维度 ### 纯 outcome reward 让模型学到浅层策略 - **在 Agentic RL 中，训练的稳定性往往比算法选择更为重要。数据质量和环境的一致性是决定训练效果的关键因素。** ## 具身智能与普通 RL 的区别 | **维度** | **普通 RL（CartPole、LLM）** | **具身智能 RL** | | ----- | ------------------- | ------------------ | | **动作空间** | **离散为主（左/右、token）** | **连续高维（关节角度、力矩、速度）** | | **状态空间** | **低维向量或 token 序列** | **多模态（视觉+力觉+本体感觉+语言）** | | **环境动力学** | **快速模拟，可瞬时重置** | **物理仿真昂贵，真实环境几乎无法重置** | | **试错成本** | **几乎为零** | **高（时间、设备损耗、安全风险）** | | **泛化要求** | **固定环境即可** | **必须适应多变物理条件** | | **样本效率** | **可以大量试错** | **必须高效利用每一次交互** | ## 具身智能主流任务类型 具身智能的任务五花八门，但按智能体与环境的交互方式，可以归为几大类。在这些任务中，强化学习扮演着不同的角色，解决不同的痛点： ### 1. 导航（Navigation） **核心目标**：智能体在未知或部分已知的环境中移动到目标位置（例如：扫地机器人回充、自动驾驶汽车从 A 点开到 B 点）。 - **任务细分**： - **PointGoal Navigation**：目标由相对坐标（“向前走 5 米，左转”）给出，主要考察避障和路径规划。 - **ObjectGoal Navigation**：目标是语义概念（“找到厨房里的冰箱”），要求智能体具备常识推理和场景理解能力。 - **技术原理**：传统方法依赖于 SLAM（同步定位与建图）建图后再进行 A* 等路径规划。而在具身 RL 中，流行**端到端（End-to-End）学习**：直接输入 RGB-D 摄像头和 LiDAR 数据，通过 CNN/Transformer 提取特征，输出离散（前进、左转、右转）或连续的底盘速度指令。 - **难点**：视觉特征与几何空间的映射（Mapping）、长时间记忆（探索过的死胡同不能再去）。 ### 2. 抓取（Grasping） **核心目标**：机械臂从桌面上抓取指定形状、材质或堆叠状态的物体。 - **任务细节**：抓取是机器人操作（Manipulation）中最基础的子任务。对于平行夹爪（Parallel Jaw Gripper），智能体需要预测一个 **6-DoF（六自由度）的抓取位姿**（x, y, z 坐标加上 Roll, Pitch, Yaw 旋转角），并决定何时闭合夹爪。 - **技术原理**： - 在 RL 中，抓取通常被建模为一个多步马尔可夫决策过程。状态是桌面物体的点云（Point Cloud）或深度图。 - **Reward Shaping（奖励塑形）** 在抓取训练中极其关键。如果只给“抓取成功”才给 +1 奖励，智能体会面临极度稀疏的奖励信号。因此，通常需要设置中间奖励：靠近物体（+0.1） -> 触碰到物体（+0.3） -> 成功抓起并抬高（+1.0）。 ### 3. 灵巧操作（Dexterous Manipulation） **核心目标**：使用多指灵巧手（如 Shadow Hand）进行旋转物体、双手协调、工具使用（如拧螺丝、切菜）。 - **技术原理**：比抓取更复杂的操作。灵巧手的自由度极高（比如 Shadow Hand 拥有 24 个关节自由度），动作空间维度动辄达到 20 维以上。在这个高维连续空间中进行探索非常困难。 - **经典案例**：OpenAI 训练机械手解魔方（Solving Rubik's Cube）。他们使用了 PPO 算法，并在仿真中引入了极端的**非对称域随机化（ADR）**，训练了一个能在现实世界中单手转动魔方的策略网络。 - **难点**：极度复杂的**接触动力学（Contact Dynamics）**——手指与物体表面的滑动、摩擦、微小形变，很难在仿真引擎中完美还原。 ### 4. 四足 / 人形行走（Locomotion） **核心目标**：控制机器人的各个关节，使其在平地、楼梯、草地等复杂地形上保持动态平衡并完成移动（如波士顿动力的 Atlas、宇树科技的 Go2 和 H1）。 - **技术原理**： - 传统控制理论通常使用 ZMP（零矩点）和 MPC（模型预测控制）来计算落脚点。 - 现代具身 RL 则通过神经网络直接输出**关节目标角度（Target Joint Angles）**。底层依然有一个高频（如 1000Hz）运行的 PD 控制器（比例微分控制器）将角度差转化为实际电机扭矩：τ=Kp​(qtarget​−qcurrent​)−Kd​q˙​current​。 - RL 策略网络通常以 50Hz 运行，接收 IMU（姿态、角速度）和关节编码器数据，输出目标角度 qtarget​ 给到底层 PD 控制器。 - **难点**：欠驱动系统（Underactuated System）的平衡问题、双足机器人的高重心导致容易摔倒。 ### VLA 的训练方法 VLA 训练与文本 LLM RL 有相似之处，但增加几个组件： ``` ┌──────────────────────────────────────────────────────────┐ │ Phase 1: 多模态预训练 │ │ - 视觉 + 语言 + 动作数据 │ │ - 学习"指令 → 动作"的基础映射 │ ├──────────────────────────────────────────────────────────┤ │ Phase 2: 仿真环境 RL │ │ - 在仿真环境做大量 RL │ │ - 奖励：任务成功 + 动作平滑 + 效率 │ ├──────────────────────────────────────────────────────────┤ │ Phase 3: 真实环境适应 │ │ - 在真实机器人做少量 RL/SFT │ │ - 修正 sim-to-real gap │ ├──────────────────────────────────────────────────────────┤ │ Phase 4: Embodied Thinking 训练 │ │ - 让模型在动作前生成推理 │ │ - 用 reasoning reward 强化思考行为 │ └──────────────────────────────────────────────────────────┘ ``` **LLM 文本 RL → VLM 理解 RL → 视觉生成 RL** |阶段|输入|输出|RL 里的 action|reward 更像什么| |---|---|---|---|---| |LLM 文本后训练|文本 prompt|文本回答|下一个 token|偏好、规则、验证器| |VLM 理解后训练|图像 + 文本问题|文本、选项、框、坐标|主要还是 token 或结构化答案|答案正确性、IoU、工具验证| |视觉生成后训练|文本 / 图像条件|图像、视频、latent 轨迹|每一步去噪转移|偏好、对齐、质量、细粒度约束| $Diffusion$ 模型的生成过程可以理解为“从噪声出发，逐步去噪”。 最开始，模型有一个接近随机噪声的 latent，记作 $xT$​。然后模型一步一步生成： $$ xT​→xT−1​→⋯→x1​→x0​ $$ 这里 $x0​$ 是最终图像对应的 latent。再经过 decoder，就得到用户看到的图像。 每一步去噪时，模型会看三个东西： | 符号 | 含义 | | ----- | -------------- | | $xt$​ | 当前还带噪声的 latent | | $t$ | 当前去噪步数 | | $c$ | prompt 或条件信息 | 模型要决定的是下一步 latent： $$ xt−1​∼pθ​(xt−1​∣xt​,t,c) $$ 这行公式的意思是：给定当前噪声状态 $xt$​、时间步 $t$ 和 prompt $c$，模型用参数 $θ$ 定义一个概率分布，并从中采样下一步 $xt−1$​。 为什么说它像 policy？因为在 RL 里，policy 的定义就是： $$ πθ​(a∣s) $$ 也就是“给定当前状态 s，选择动作 a 的概率分布”。 LLM 里我们很熟悉这个形式： $$ πθ​(yt​∣y_{