基本信息与核心结论

  • 中文题目：扩散策略：通过动作扩散学习视觉运动策略。
  • 作者：Cheng Chi、Zhenjia Xu、Siyuan Feng、Eric Cousineau、Yilun Du、Benjamin Burchfiel、Russ Tedrake、Shuran Song，以项目上传扩展版本的作者顺序为准。
  • 版本：项目 PDF 为 arXiv:2303.04137v5（2024-03-14），实际 19 页，对应 IJRR 扩展版本；初版发表于 RSS 2023。扩展版本新增双臂等内容，不应与官网旧摘要中的任务数量直接混用。[1][2]
  • 核心贡献：以观测为条件，通过迭代去噪生成连续动作序列，并结合滚动执行、视觉特征条件化和适合时间序列的网络结构，使扩散模型成为可用于真实机器人行为克隆的策略。[1，§2–4]

1. 研究问题

行为克隆需要从示例拟合 p(a∣o)p(a\mid o)。当绕物体左侧和右侧都合理时，条件动作分布具有多个模式。单一确定性回归可能给出两种动作的平均值；手工指定混合成分数量又可能难以覆盖复杂行为。把未来多步动作放入输出后，维度进一步增加，但也能直接表达整段动作内部的相关性。[1，§1、4.1、4.3]

论文同时关注训练和推理的工程约束。能量模型可描述多模态动作，但训练常依赖负样本来近似归一化项；扩散策略通过噪声回归学习与 score 有关的向量场。它仍需要多次前向采样，所以必须同时考虑闭环执行频率，而不能只比较生成分布的表达能力。[1，§4.4、9]

2. 三个时间范围与策略定义

论文区分：

  • ToT_o：观测历史长度；
  • TpT_p：预测动作长度；
  • TaT_a：本次预测中实际执行的动作长度。

当前条件是 Ot=(ot−To+1,…,ot)O_t=(o_{t-T_o+1},\ldots,o_t)，策略生成长度 TpT_p 的动作块，执行其中 TaT_a 步，然后读取新观测并重新规划。通常 Ta<TpT_a<T_p。较长预测范围支持动作一致性，较短执行范围使新观测更快改变行为。[1，§2.3、图 2]

机器人时间 tt 与去噪时间 kk 不同。tt 增加意味着环境真的演化了一步；kk 的变化是在计算机中逐步把同一个动作块从噪声变成可执行动作。在所有去噪迭代结束前，不会把中间带噪张量当成动作依次执行。[解释]

3. 扩散训练与采样

3.1 标准化的 DDPM 表达

为展开论文式（3）至（5）省略的调度系数，令 A0A^0 为专家动作块，βk\beta_k 为噪声调度，αk=1−βk\alpha_k=1-\beta_k，αˉk=∏j=1kαj\bar\alpha_k=\prod_{j=1}^k\alpha_j。标准前向加噪可写为

Ak=αˉkA0+1−αˉkϵ,ϵ∼N(0,I).A^k=\sqrt{\bar\alpha_k}A^0+\sqrt{1-\bar\alpha_k}\epsilon, \quad\epsilon\sim\mathcal N(0,I).

训练目标为

Lϵ=EA0,O,k,ϵ[∥ϵ−ϵθ(O,Ak,k)∥22].\mathcal L_{\epsilon}=\mathbb E_{A^0,O,k,\epsilon} \left[\|\epsilon-\epsilon_\theta(O,A^k,k)\|_2^2\right].

这是与论文机制一致的标准展开式，不能把论文为简洁所写的“动作加噪声”理解为所有 kk 都使用同一方差。网络学习的是当前噪声尺度下的去噪方向，不是用损失函数直接求某个任务奖励最大值。[1，§2.1–2.3；公式为解释性标准化]

采样从高斯 AKA^K 开始，反复调用噪声预测网络。DDPM 形式可以写成

Ak−1=1αk(Ak−βk1−αˉkϵθ(O,Ak,k))+σkz.A^{k-1}=\frac{1}{\sqrt{\alpha_k}} \left(A^k-\frac{\beta_k}{\sqrt{1-\bar\alpha_k}} \epsilon_\theta(O,A^k,k)\right)+\sigma_k z.

具体采样系数与选定 scheduler 有关。论文真实机器人使用 DDIM 减少推理迭代：100 个训练噪声位置、10 次推理迭代，RTX 3080 上延迟约 0.1 秒。训练噪声位置数与网络训练更新次数也必须区分。[1，§3.3–3.4]

3.2 score 与噪声不是无条件相等

对于对应噪声分布，常用参数化下

∇Aklog⁡pk(Ak∣O)≈−ϵθ(O,Ak,k)1−αˉk.\nabla_{A^k}\log p_k(A^k\mid O) \approx-\frac{\epsilon_\theta(O,A^k,k)}{\sqrt{1-\bar\alpha_k}}.

因此“噪声预测器学习 score”是带噪声尺度系数的关系，而非在任何记号下都有 s=−ϵθs=-\epsilon_\theta。若写 p(a∣o)∝e−E(o,a)p(a\mid o)\propto e^{-E(o,a)}，则归一化项只依赖 oo，对 aa 求导消失；这是论文讨论训练稳定性的重要机制。它解释为何无需按 IBC 的方式估计归一化项，但不构成任意网络、数据上的收敛保证。[1，§4.4；尺度展开为解释]

4. 视觉条件化与网络结构

本文拟合的是 p(A∣O)p(A\mid O)，并未联合生成未来视觉观测。观测特征先算出并用于全部去噪迭代，避免对高维图像也执行生成。这与同时生成状态—动作轨迹的规划方法有实质区别。[1，§2.3]

CNN 版本采用时间维一维卷积，在多层通过 FiLM 注入观测和去噪时间条件。其归纳偏置适合多数平滑动作序列，但论文发现它对快速、尖锐变化的动作可能过度平滑。Transformer 版本使用带噪动作作为输入位置，通过 cross-attention 读取观测，并采用动作时间的因果注意力掩码；整块去噪仍可并行计算，因果掩码不等于必须逐动作采样。[1，§3.1、图 2]

视觉编码器与动作网络可以端到端训练。论文基础配置使用 ResNet18，将全局平均池化改为空间 softmax，并将 BatchNorm 改为 GroupNorm，后者与扩散网络参数 EMA 配合时更稳定。不同视角使用不同编码器，同一视角的各时间帧共享处理方式。[1，§3.2]

本文删除了所借鉴模型中的 inpainting 式目标状态条件化，并允许通过特征条件加入目标。后续动作块执行方法中的固定前缀 inpainting，不应倒写成本文全部实验的标准组成。[1，§3.1；与本项目其他论文的区分]

5. 动作块为什么能改善多模态行为

对每个时刻独立采样左右两种路径，可能得到左右反复切换的控制。对整段动作联合建模，则采样可以对应一条时间一致的路径。这里的作用来自序列联合分布；仅有单步多模态能力并不自动保证长期模式一致性。[1，§4.1、4.3]

同样，示例中的停顿若仅用单步映射表达，可能使策略停在“近零动作”状态。动作序列同时包含停顿前后关系，可降低这类失败。但当执行范围太长时，新观测不能及时改变行为。论文在所测任务中常见较优执行范围约 8 步，并在部分延迟消融中发现最高性能可保持到约 4 步延迟；这些不是适用于所有动态场景的固定阈值。[1，§5.3、图 5]

6. 实验体系和指标

仿真涵盖 Robomimic 的 Lift、Can、Square、Transport、ToolHang，不同人类示例质量和状态/图像观测变体，以及 Push-T、Multimodal Block Pushing、Franka Kitchen。真实单臂评估涉及 Push-T、翻杯、倒酱和抹酱；扩展版本还加入打蛋器、展开垫子和折衣服三项双臂任务。[1，§5–7]

论文常以“最佳检查点 / 最后 10 个检查点平均”同时报告结果，并使用多个训练种子。上传版本脚注明确：Robomimic 评估程序有一处问题，实际只采用 22 个环境初始化，而非表中通用描述的 50 个；所有比较方法采用同一设置，但有效样本数必须按脚注理解。[1，§5.2，第 7 页]

不同任务不能全部用一个 success rate 概括：Push-T 涉及目标覆盖或 IoU；真实 Push-T 以最终状态、示例表现阈值和结束区行为判定；Kitchen 的 p4p_4 是至少完成四个交互子任务的频率；倒酱和抹酱分别使用区域匹配和覆盖等指标。[1，表 4、6、图 10]

7. 主要结果与消融

设置 论文结果 解读条件
仿真整体 作者报告平均性能提高 46.9% 为论文汇总口径，不是所有任务各提高 46.9 个百分点
Block Pushing，p2p_2 Transformer 版本 0.94；BeT 0.71 CNN 版本仅 0.11，说明骨干选择强烈依赖任务
Kitchen，p4p_4 CNN 0.99，Transformer 0.96；BeT 0.44 指完成子任务数量的频率
真实 Push-T 端到端 CNN 成功率 95%，平均 IoU 0.80 人类平均 IoU 0.84；不能只看成功率而忽略阈值定义
翻杯 20 次中成功率 90% 精细旋转与操作模式选择的特定任务
双臂打蛋器 210 条示例，20 次评测，55% 成功 依赖触觉遥操作获取示例
双臂展开垫子 162 条示例，20 次评测，75% 成功 初始抓取错误会引发反复失败
双臂折衣服 284 条示例，20 次评测，75% 成功 中层控制器承担显式避碰

数据来自原文 §5–7 和相应表图。尤其是“Diffusion Policy 优于基线”通常指所选择的适配版本；不能推导 CNN 与 Transformer 的每一行都优于所有基线。[1]

视觉编码消融中，Square-PH 上从头训练 ViT 的成功率仅 22%，冻结预训练 ViT 为 70%，以较小学习率微调可达 98%。这支持联合适配视觉表示的重要性，而不是“预训练无用”或“固定视觉编码器永远不行”。实验只覆盖一项任务的特定数据规模。[1，§5.4、表 5]

位置与速度动作空间的对照显示，扩散策略在所测任务中更能利用位置控制。作者对原因使用的是推测性解释，包括多模态表达和累积误差；不应将该经验结论写成控制理论定理。[1，§4.2]

8. 双臂扩展与机器人系统职责

扩展版本的本体状态包含两只末端的实际与期望位姿、夹爪实际与期望开度；图像为两个场景视角加两个手腕视角。动作输出对应两只末端的期望位姿与夹爪开度。[1，§7.1]

遥操作使用 Meta Quest Pro 双控制器或两台 Haption 设备。打蛋器实验中触觉反馈显著改善专家示例采集；这并不意味着训练后的策略直接获得与操作者相同的触觉输入。论文折衣任务的避碰由中层控制器处理，也说明动作生成网络与系统安全约束不能混为一体。[1，§7.2–7.5]

9. 局限与对本项目的作用

它仍是行为克隆：示例缺少纠错、负例或某类动态过程时，模型不会自动获得这些能力。score 是动作数据分布的统计量，不是价值函数、碰撞风险或环境动力学的显式模型。迭代采样也造成较高推理延迟。[1，§9；综合分析]

对动态 VLA，应分别测量去噪耗时、执行块长、新观测间隔与目标运动速度。缩短采样计算和缩短旧动作持续时间会产生不同收益。对 NavDP，本文提供动作/轨迹条件扩散的生成基础，但 NavDP 的特权几何监督与轨迹打分不能视为 Diffusion Policy 原有模块。[分析]

复现时最关键的是保持动作归一化、观测历史时间对齐、TpT_p 与 TaT_a 的含义、采样 scheduler、EMA 检查点、动作控制类型及评估聚合口径一致。若只复制网络层数而改变这些接口，实验比较的对象已经发生变化。[分析]

参考资料

[1] 项目上传扩展版，arXiv:2303.04137v5。重点：§2–4，第 2–6 页；§5–7，第 6–12 页；§9，第 13 页。

[2] 官方项目页及 RSS / IJRR 版本区分。

[3] 官方代码与数据入口。资料核验日期：2026-10-09。