行为克隆的统计目标
给定示范数据 ,行为克隆拟合条件动作分布 ,常用负对数似然;确定性回归通常对应某个条件均值或位置统计量。数据中的多个正确动作若被均值化,可能产生一个没有任何示范支持的动作。
例如绕障碍物向左和向右都可行,中间方向却碰撞。问题是条件动作分布的多模态性,而不是简单增加网络大小就能解决。模型表示、损失和推断规则必须一致。
动作表示的选择
| 表示 | 可以表达什么 | 代价或局限 |
|---|---|---|
| 连续回归 | 单个预测动作 | 平方损失可能平均多个模式 |
| Gaussian / mixture | 概率分布及多个显式分量 | 分布族和混合复杂度有限 |
| Action bins | 模式或区间的分类概率 | 量化、分辨率与组合数 |
| 离散模式加连续残差 | 粗模式和精确局部动作 | 需要模式分配与残差训练 |
| 扩散 / flow | 复杂连续联合分布 | 采样成本、时序与条件设计 |
Bin 可以是均匀数值区间,也可以是聚类中心,后者不必对应按大小排序的区间。BeT 一类方法将动作模式分类与相对中心的连续偏移结合;分类概率和偏移值承担不同职责。
闭环分布偏移
BC 在专家访问分布上训练,执行误差会把机器人带到训练中少见的状态。经典复合误差界需要明确每步错误定义、有限时长和最坏情况假设;不能把 当作所有机器人系统的精确预测。交互纠错、DAgger、扰动恢复数据及训练时的状态覆盖可以缓解这一问题。
动作块与评估
预测 个动作并执行 个动作时, 和 是不同参数。块内一致性、刷新观察频率与推断延迟共同决定闭环行为。评价应包含完成率、恢复能力、动作连续性和真实端到端延迟;低离线 MSE 不等于高任务成功率。
继续阅读:Diffusion Policy 深化、ACT、动作接口综述。