面向动态环境中可泛化的机器人操控：DOMINO 基准与 PUMA 策略

作者： Heng Fang、Shangru Li、Shuhan Wang、Xuanyang Xi、Dingkang Liang、Xiang Bai。年份与版本： 2026；本项目上传稿为 arXiv:2603.15620v3，2026 年 6 月 30 日修订，共 43 页；首稿发表于 3 月 16 日，官方页面标注 ECCV 2026 接收。以下数字以这份 v3 为准。DOMINO 是数据集与评测基准，PUMA 是本文提出的策略模型，二者也不同于 DynamicVLA 论文中的 DOM 数据集。[1][2]

1. 研究问题与核心贡献

论文关心的失败是：机器人可以操作静止目标，但物体独立运动以后，视觉策略追着物体当前位置移动，往往一直落后；即使到达附近，抓取、交接或把物体放进移动容器仍可能因时序失配失败。这里既有对目标运动估计不足的问题，也有接触阶段控制和双臂同步的问题。作者的贡献包含三部分：建立可批量生成动态演示的 DOMINO；测量现有策略从静态到动态的性能落差；提出将历史光流与未来对象特征预测结合的 PUMA。[1，§1–3]

本文的实质侧重是让策略学到动态信息，并建立相应评测任务。它没有提出 RTC 式动作拼接、FLASH 式推测验证或 DynamicVLA 式过期动作丢弃。运行速度被报告，但作者在附录明确把“在基准中引入真实控制延迟”列为未来工作。因此，本文的动态任务成功率不能自动解释为已经计入真实相机、GPU、通信及执行延迟的结果。[1，§4.6、附录 F.2]

2. 问题定义、数据和动态难度

形式上，环境状态包含机器人与对象状态，观测是图像及可能的本体感觉，连续动作控制双臂。一般任务写为依据历史观测的策略 πϕ(at∣ot−h:t)\pi_\phi(a_t\mid o_{t-h:t})，最小化有限时域代价

J(ϕ)=E ⁣[∑k=0H−1γkℓ(st+k,at+k)].J(\phi)=\mathbb E\!\left[\sum_{k=0}^{H-1}\gamma^k\ell(s_{t+k},a_{t+k})\right].

代价描述末端与对象之间的空间误差及控制开销，并要求满足安全约束。这个式子是问题描述，不是 PUMA 实际使用的强化学习目标；PUMA 后续通过专家动作监督和辅助特征预测训练。[1，§2.1、§3.3]

DOMINO 共 117,000 条专家轨迹、35 个任务、5 种机器人配置，含规范场景与域随机化场景。UR5-Wsg、Piper、Franka、ARX-X5、Aloha-AgileX 分别有 24,000、17,250、24,750、24,750、26,250 条轨迹。轨迹保存头部与腕部多视角 RGB、关节与夹爪动作、末端位姿，可选深度和点云；原始逐帧记录汇成 HDF5，可转为 ALOHA 或 LeRobot 格式。默认主实验只用 Aloha-AgileX、无域随机化的 clean 设置、Level 1、DOMINO@0.1，不能把全数据集的五具身覆盖误写成所有主表均验证了跨具身泛化。[1，图2、§4、附录 B]

任务分为两类：动态拦截关注建立接触的瞬间，例如接近并抓住运动物体；动态跟踪关注一段时间内维持相对空间关系，例如向移动容器放置对象。这是任务功能分类，并不表示所有物体都在接触以后继续原来的自主运动。[1，§2.3、附录 B.2/D.3]

动态等级 生成机制 主要测试能力
Level 1 平面内恒定速度运动 从历史估计运动方向，并进行短时外推
Level 2 对随机控制点拟合多项式曲线 处理曲率、速度和加速度变化
Level 3 拼接 2–3 个独立的 Level 1/2 片段，时长按 Dirichlet 分布采样 对片段边界的速度、方向突变作出反应

表中是论文定义。正文将 α\alpha 解释为最大目标速度，α=0.1\alpha=0.1 对应 0.1 m/s，0 对应静态。但复现应检查附录的更具体实现：Level 1 速度实际从截断的半正态分布采样，而正文简写成均匀分布；Level 2 接受条件检查的是轨迹平均速度不超过 α\alpha，不直接证明每一瞬间速度都受同样上界约束；正文写 2–5 次多项式，附录采样 3–5 个控制点并用 min⁡(n−1,5)\min(n-1,5) 次拟合。不能忽略这些描述粒度和口径差异。[1，§2.3、附录 D.3]

2.1 专家轨迹怎样生成

系统基于 SAPIEN 与 RoboTwin 2.0。先在静态场景执行可行机器人轨迹，记录时长 TsecT_{\rm sec}；再根据目标相遇位置与运动轨迹反算初始位置；最后恢复场景，重放机器人动作并同步驱动物体。恒速情形的反算为

pstart=pend−vTsec.p_{\rm start}=p_{\rm end}-vT_{\rm sec}.

曲线和分段情形采用对应轨迹生成规则，并进行工作区及可见性筛选。这样的生成过程让动态示范能够使用已有运动规划器，避免每一条轨迹都由人实时追踪示教。[1，§2.2、附录 D.3]

接触前，目标作为运动学物体按预定轨迹运动，避免普通接触扰动改变轨迹；检测到夹爪接触后，控制器释放目标，将其转为受物理引擎控制的动态刚体，停止自主运动。因而它仍然包含接触后的物理操控，但没有覆盖目标持续受外力驱动、抓住后继续牵引或复杂多物体耦合动力学。附录把这一点称为 stop-on-contact 简化。[1，附录 B.2、D.3、F.2]

3. PUMA 的具体机制

3.1 输入、动作输出与历史光流

PUMA 从 Qwen3-VL-4B 初始化，隐藏维度 2560。实际实现输入语言指令、当前多视角图像，以及第三人称历史光流。虽然一般问题定义允许本体感觉，附录明确本组 Qwen3-VL 实验没有额外输入本体状态。MLP 动作头一次并行预测长度 K=15K=15 的动作块，每步是 14 维绝对关节动作，不能用“逐步输出末端位姿增量”描述它。[1，§3、附录 B.2]

默认取 h=4h=4 个历史帧，间隔 4 帧；当前图像为 224×224，历史图像先压到 64×64。每个历史帧与当前帧构成一对，转灰度后用 Farneback 算法求稠密二维光流，再用 HSV 将方向编码为色相、幅值编码为亮度，转成 RGB 光流图。幅值采用百分位归一化，并抑制低于阈值的小运动。四张光流图与当前视觉信息进入共享视觉编码器。[1，图3、附录 B.2/D.1]

它提供的是图像平面位移线索，包含相机运动、对象运动和遮挡影响；不是显式分离好的三维对象速度。优势在于让骨干直接看到时间差异，减少从完整历史 RGB 中自行寻找运动线索的负担。训练阶段将光流缓存到磁盘，后续 epoch 重用；部署时维持历史帧缓冲并实时计算光流。[1，§3.1、附录 D.1]

3.2 用未来对象特征监督 world queries

作者引入两类可学习查询：action queries 解码动作，world queries 聚合历史和当前上下文，预测未来对象的潜在特征。训练时，从指令中解析被操控对象，交给冻结的 GroundingDINO 得到框，再由冻结的 SAM2 得到掩码。冻结 DINOv2-B/14 编码未来图像，在掩码区域做平均池化，生成监督目标

ft+i=P(E(It+i),B(It+i,p)),i=1,…,N.f_{t+i}=\mathcal P\big(\mathcal E(I_{t+i}),\mathcal B(I_{t+i},p)\big), \quad i=1,\ldots,N.

其中 pp 为对象文本提示，B\mathcal B 为掩码生成，E\mathcal E 为图像特征编码，P\mathcal P 为掩码平均池化。默认 N=4N=4，未来帧同样间隔 4 帧采样；正文下标 t+it+i 是简化表示，不宜据此认为目标都是连续相邻控制帧。[1，§3.2、附录 B.2/D.2]

GroundingDINO 用 Swin-T，SAM2 用 Hiera-Large；框阈值 0.35、文本阈值 0.25，选择最高分框。对象名用规则解析，失败时回退到整句指令；掩码也做缓存。由此可见，对象定位的质量和规则解析会影响辅助监督，不能假设训练目标始终完美。[1，附录 D.2]

预测对象未来特征，不等于直接预测对象未来 3D 轨迹。 监督是池化后的 DINO 特征和余弦相似度；文中没有将它构造成公制位姿、速度、加速度的显式预测器，也没有给出多模态未来分布。与 VLASH 的“根据已知动作推演机器人未来本体状态”也不同：PUMA 学习的是与运动对象有关的未来表征。[1，§3.2；概念区分为本总结分析]

3.3 联合损失、训练与部署

Laction=1K∑i=0K−1∥a^t+i−at+i∗∥1,\mathcal L_{\rm action}=\frac1K\sum_{i=0}^{K-1}\|\hat a_{t+i}-a^*_{t+i}\|_1,

Lworld=1N∑i=1N(1−zt+i⊤ft+i∥zt+i∥2∥ft+i∥2),L=Laction+0.05Lworld.\mathcal L_{\rm world}=\frac1N\sum_{i=1}^{N} \left(1-\frac{z_{t+i}^{\top}f_{t+i}}{\|z_{t+i}\|_2\|f_{t+i}\|_2}\right), \qquad \mathcal L=\mathcal L_{\rm action}+0.05\mathcal L_{\rm world}.

动作模仿为主目标，未来预测为共享表征提供辅助监督。未来帧与冻结的对象监督流水线只在训练中需要；推理使用当前和历史信息。辅助目标帮助模型学会预期变化，但不构成“部署时已经知道未来”的信息泄漏。[1，§3.3、附录 B.2]

训练用 8 张 A100，每卡 batch 8，AdamW；骨干与动作头学习率分别为 10−510^{-5}、10−410^{-4}，前 5,000 步预热，余弦衰减，最多 100,000 步或 100 epochs，混合精度、梯度检查点及 DeepSpeed ZeRO-2 全参数微调。真实机器人从仿真检查点做 LoRA 适配。[1，附录 B.2、§4.5]

4. 评测指标与实验证据

4.1 成功率与 Manipulation Score

每任务评测 100 个仿真 episode，SR 是在时限内完成全部条件的比例。MS 先计算路线完成度：用初始末端到最终对象位置的距离归一化最终末端到最终对象位置的距离，得到

ρ=1−∥pee(T)−pobj(T)∥2∥pee(0)−pobj(T)∥2,RC=100max⁡(ρleft,ρright).\rho=1-\frac{\|p_{\rm ee}(T)-p_{\rm obj}(T)\|_2} {\|p_{\rm ee}(0)-p_{\rm obj}(T)\|_2}, \qquad RC=100\max(\rho_{\rm left},\rho_{\rm right}).

成功 episode 的 RC 设为 100，目标离开安全区或视野乘 0.5，与环境杂物碰撞乘 0.8。论文称 RC 在 [0,100]，但展示的公式本身没有写出负值裁剪和零分母保护，复现时须核查评测实现。MS 是几何进展与惩罚组合，既不是成功概率，也不是直接测量稳定抓取或双臂配合的完整质量函数；取两臂最大值会弱化另一只手的失败表现。[1，§2.3；后两句为公式分析]

4.2 静态到动态的落差

在 35 个配对任务上，ACT 的静态→静态 SR 为 27.7%，静态→动态为 6.5%，动态训练→动态为 9.4%；OpenVLA-OFT 为 17.5%、6.7%、9.1%；π0.5 为 44.8%、7.5%、9.6%。动态数据微调均比零样本动态测试提高不足 3 个百分点，但远未恢复静态成绩。论文将其解释为时序表示不足；这组结果支持现有训练配置不足，并不能单独排除模型、优化或演示质量等其他原因。[1，表1]

作者另给 OpenVLA-OFT 加入目标未来位姿窗口和轨迹参数的“真值轨迹 oracle”：动态 SR 从 9.06% 到 10.33%，MS 从 24.06 到 32.00。空间跟随明显改善，但任务完成提升较小，观察到控制抖动与时间不一致。这说明直接提供未来空间线索仍不等于解决接触操控；不能将 oracle 结果理解成未来信息没有价值。[1，表2、§4.2]

4.3 主结果与消融

方法 SR（%） MS
OpenVLA 1.54 6.10
RDT-1B 5.34 17.71
π0 8.17 23.96
π0.5 9.63 26.17
InternVLA-M1 5.40 27.57
OpenVLA-OFT，原 Prismatic 骨干 9.06 24.06
OpenVLA-OFT，作者复现 Qwen3-VL 骨干 10.86 30.49
PUMA 17.20 34.97

这是 Level 1、0.1 系数、clean、Aloha-AgileX 的主表。摘要“提高 6.3%”具体为相对同骨干 OpenVLA-OFT 的 6.34 个百分点。仍有约 82.8% episode 失败，结果体现困难基准上的改进，不支持“已可靠解决通用动态操控”。部分基线换 Qwen3-VL 是作者重实现，比较时应保留此标签。[1，表3]

组件设置 SR（%） MS
无历史、无辅助预测 10.86 30.49
历史光流，无预测 11.71 31.02
光流 + 未来预测 N=2 14.80 32.74
原始历史 RGB + N=2 8.15 28.62
光流 + N=4 17.20 34.97
光流 + N=6 13.62 32.99

光流单独收益较小，和未来监督组合后更好；堆原始 RGB 在本配置中反而退化。预测并非越远越好，N=6 低于 N=4。把历史从 4 帧减到 1 帧，完整模型 SR 从 17.20% 降到 13.00%。作者将更长历史的收益联系到遮挡、表观运动变化与执行延迟，但没有用这组消融把各因素逐一独立识别。[1，表8、11、12]

动态拦截/跟踪两类中，PUMA 分别达 24.2%/8.9%，同表 OpenVLA-OFT 为 14.3%/2.9%，π0.5 为 11.8%/7.0%，表明持续跟踪仍更难。10 任务子集上，Level 1 检查点经目标等级 LoRA 微调后，Level 2/3 为 10.5%/4.6%；直接在相应等级训练为 9.3%/2.5%，π0.5 为 7.9%/1.6%。这是适配后的跨等级迁移，不是未经训练的零样本 Level 3 泛化。[1，表4、5、13]

静态、动态混合训练的 PUMA 使用 N=2：SR 14.80%→19.71%，MS 32.74→37.76。这里不能拿 19.71% 与 N=4 主表 17.20% 相减，宣称单一因素收益。10 任务、2 倍演示实验中，PUMA 为 27.4% SR，π0.5 为 15.6%，也不能混入 35 任务主表。[1，表6、15]

4.4 实机与时延

实机为双臂 AgileX Piper、头部和腕部 RGB-D 相机，五任务各 50 条演示、各 20 次评测。使用透明细线按受控速度拉动物体，近似 Level 1 直线运动，场景与仿真尽量匹配。PUMA 在 Click Bell、Grab Roller、Lift Bottle、Move Playingcard Away、Press Stapler 分别为 50%、45%、35%、25%、55%，平均 42%；π0.5 平均 24%，ACT 7%，RDT 8%。这支持小样本实机适配的可行性，尚不能外推到任意曲线、碰撞扰动和未见场景。[1，图6、§4.5、附录 C.2]

单 RTX 4090、batch 1、bf16、预热 50 次后测 500 次，PUMA 平均推理 103.7 ms，约 9.6 次查询/秒；骨干 98.3 ms，光流 3.45 ms，预处理 2.0 ms。同表 π0.5 为 103.0 ms，OpenVLA-OFT 为 76.9 ms。长度 15 的动作块可以摊薄查询成本，但不能把 9.6×15 直接宣称为同频利用新视觉的闭环控制；文中未给出由完整感知—执行链测得的反应时间。[1，表7、§4.6]

5. 与相关路线的实质差异及局限

本总结分析： PUMA 补的是运动感知与训练表征，RTC、VLASH 补的是计算期间机器人仍在运动造成的动作时序错位，ADP、FLASH 和内核优化补的是算力或推理时长。它们可以在研究上组合，但本文未证明组合后的效果。历史光流也不等于“每次推理都包含刚发生的变化”：若动作块执行较久、推理较慢，模型即使具备运动建模能力仍会看到陈旧观测。

论文明确列出追赶式反应、拟合训练位置分布和双臂协调失败三类现象，并承认接触后动力学、软体、多目标交互和真实时延评估不足。主结果集中于较慢的恒速场景，Level 3 成功率很低；未来特征目标依赖对象分割，且余弦特征相似度没有显式要求公制位置误差。附录的速度泛化表把随机系数写为 [0.5,1.5]，同时表题仍标 DOMINO@0.1，是否为绝对系数或基准速度倍率需要结合实验配置核实，本总结不将它改写成已确定的物体速度范围。[1，附录 E.2/F]

6. 复现要点与阅读结论

应固定 v3 对应提交、35 或 10 任务集合、具身、clean/random 配置、动态等级与速度参数，保留所有基线的训练口径。重点复核历史/未来采样间隔、14 维绝对动作归一化、执行动作数、对象掩码缓存、光流颜色与幅值归一化，以及接触后运动模式和 MS 实现。若研究实时能力，应另外计入推理期间物体继续运动的时间，并报告观测年龄、动作拼接方式和新视觉查询频率。[1，附录 B/D/F；最后一句为复现建议]

官方仓库分 DOMINO 仿真和 PUMA 策略两套环境，通过 WebSocket 通信；已提供数据、权重和训练评测入口。当前仓库还提供固定 episode manifest 的评测方式，以减少随机规划筛选导致的测试样本漂移。PUMA README 指向 LeRobot 转换、模态配置和训练/服务脚本。本总结核查了文档，未运行训练或实机代码；当前仓库的后续硬件支持不计入上传论文结果。[3][4]

这篇论文最值得保留的结论是：动态数据很必要，但仅给已有 VLA 换训练数据，或只塞入真值未来轨迹，都不充分；低成本历史运动表示与未来对象辅助监督的结合能改善表现。不过，学会运动表征、可靠完成接触任务、在真实时延下及时反应，是三个仍需分别验证的目标。[1，§4、附录 F；概念归纳为本总结分析]

参考来源与定位

[1] 本项目上传原文：Fang et al. - 2026 - Towards Generalizable Robotic Manipulation in Dynamic Environments.pdf，arXiv v3，43 页。第3–6页§2：定义、数据、难度与指标；第6–8页§3：PUMA 与式(2)–(5)；第9–14页§4：表1–8及实机；第23–28页附录B–D：训练、输入、采样、数据生成与接触处理；第29–32页附录E：扩展消融和迁移；第32–33页附录F：失败与局限；第37–43页：逐任务结果。官方版本：官方链接

[2] 官方 arXiv 元数据与版本历史：官方链接 。核查日期：2026-10-09。

[3] 作者官方项目与仓库：官方链接 ；官方链接 。核查日期：2026-10-09。

[4] 作者 PUMA 训练与评测说明：官方链接 。核查日期：2026-10-09。