1. 文献信息与核心结论

  • 中文题目：GRAIL：从三维资产与视频先验生成人形机器人移动操作数据。
  • 作者：Tianyi Xie、Haotian Zhang、Jinhyung Park、Zi Wang、Bowen Wen、Jiefeng Li、Xueting Li、Qingwei Ben、Haoyang Weng、Yufei Ye、David Minor、Tingwu Wang、Chenfanfu Jiang、Sanja Fidler、Jan Kautz、Linxi Fan、Yuke Zhu、Zhengyi Luo、Umar Iqbal、Ye Yuan；前四位为共同第一作者，NVIDIA与UCLA。
  • 年份与版本：2026；项目附件页首2026-06-03，共24页，对应arXiv:2606.05160v1。官方项目页现标注CoRL 2026 Oral Presentation。[1][2][3]

GRAIL的主要贡献是一个从数字场景到可执行机器人示范的生成流程：**先构造已知三维场景，再由视频模型产生人类交互视频，随后利用已知几何恢复四维交互，最后通过物理跟踪策略转为机器人动作数据。**与从随意拍摄的视频恢复全部未知场景不同，其核心利用了可控合成时已知的尺度、相机、对象几何和人体形态。[1，§1、3]

论文报告生成超过20,000条G1移动操作序列，以纯合成数据训练的头部RGB视觉策略在真实对象拾取中达到84%成功率、楼梯任务90%；未见对象拾取80%。这些结果验证了特定任务的数据价值，不代表所有生成视频都能转为有效机器人动作。[1，§4]

2. 为什么先指定三维配置再生成视频

遥操作和动捕依赖真实空间布置、人类操作者及机器人运行，扩展对象与地形成本高。直接从自然视频恢复交互，则必须同时估计相机、尺度、人体形状、对象几何、接触和深度；单目投影容易使多个三维解释都与图像一致。若人体比例与机器人差异大，视觉上正确的手物接触也可能在重定向后失效。[1，§1–2]

GRAIL将这些不确定量尽量前置为受控变量：用已知对象资产、仿真场景、固定相机和接近机器人比例的人体生成初始图像。视频基础模型只承担交互运动先验，而不是推断整个世界。代价是仍然需要simulation-ready场景及对象资产，并依赖视频模型遵循几何和交互要求。[1，§3.1、6]

独立解释：这是用生成阶段的特权信息约束后续逆问题。例如，已知背景深度能校准单目深度尺度；已知对象几何能使用模型驱动位姿跟踪；已知初始姿态减少跟踪初始化误差。它提高可辨识性，但没有消除视频中的遮挡、形变幻觉或镜头漂移。

3. 输入输出与视频生成

输入对象网格MO\mathcal M^{\mathcal O}，输出三类时序数据：机器人运动学轨迹{ΘtR}\{\Theta_t^{\mathcal R}\}、对象轨迹{ΘtO}\{\Theta_t^{\mathcal O}\}、机器人控制动作{atR}\{a_t^{\mathcal R}\}。中间还包含人类SMPL-X姿态、相机、接触标签及视频。这些层次对应不同用途：运动学参考用于重定向和跟踪，动作数据才能直接用于策略学习。[1，§3]

Infinigen生成候选场景，刚体仿真让对象落到稳定无碰初始状态，Blender用已知内参CKC_K和外参CEC_E渲染初始帧。视觉语言模型选择合理交互并形成提示词，视频模型在静态相机设置下续生成交互。人体预先拟合到G1比例，避免先生成普通成人动作再承受较大形态差异。[1，§3.1]

附录采用Kling 2.5 Turbo Pro，可生成5或10秒、24 FPS、1920×1080视频；也可加结束帧控制终态，并以片段末帧继续生成更长序列。两个基本场景模板是地面场景和带桌子的房间；VLM依据对象用途选择放在地面还是桌上。以上是该版本具体流程，不应扩大为无条件任意场景资产生成能力。[1，附录A.1]

4. 四维人—物交互恢复

4.1 初始人体及对象轨迹

GENMO恢复逐帧SMPL-X身体姿态，人体shape固定为预先拟合值，再用已知相机外参转到世界坐标。WiLoR独立恢复双手MANO姿态，缺失帧经线性插值，Savitzky–Golay滤波抑制抖动，通过腕部IK整合到身体，同时保留手指配置。[1，§3.2.1]

FoundationPose在自己的合成训练数据上以深度通道置零方式再训练5个epoch，使其适用于这里的RGB-only追踪。跟踪从已知首帧对象6D位姿出发，使用已知几何、纹理和相机参数。SAM2对象mask与预测位姿渲染轮廓不一致时，该序列被筛除。[1，§3.2.1、附录A.3]

4.2 交互感知联合优化

独立估计可能产生手与物体深度不一致、接触悬空或穿透，因此用整段序列联合优化人体和对象残差位姿：

ΘtH=Θ^tH⊕ΔΘtH,ΘtO=Θ^tO⊕ΔΘtO.\Theta_t^{\mathcal H}=\widehat\Theta_t^{\mathcal H}\oplus\Delta\Theta_t^{\mathcal H}, \qquad \Theta_t^{\mathcal O}=\widehat\Theta_t^{\mathcal O}\oplus\Delta\Theta_t^{\mathcal O}.

⊕\oplus表示平移和旋转更新，旋转采用连续6D表示；手部姿态在这一步固定。论文式(1)的总目标为：

L=λkpLkp+λprojLproj+λdepthLdepth+λcontLcont+λregLreg.L=\lambda_{\mathrm{kp}}L_{\mathrm{kp}} +\lambda_{\mathrm{proj}}L_{\mathrm{proj}} +\lambda_{\mathrm{depth}}L_{\mathrm{depth}} +\lambda_{\mathrm{cont}}L_{\mathrm{cont}} +\lambda_{\mathrm{reg}}L_{\mathrm{reg}}.

各项作用如下。[1，§3.2.2]

损失 约束来源 主要解决的问题
关键点损失 预测网格投影与检测到的二维身体/手关键点 保持人体运动与生成视频对齐
对象投影损失 优化后与初始追踪对象的投影 避免三维优化破坏图像一致性
深度损失 校准后的深度点云与可见网格点 约束米制位置及相对深度
接触损失 VLM接触标签、投影重叠与深度偏差 使接触身体区域和对象真正接近
正则项 足接触、骨盆速度、时间差分 抑制脚滑、深度振荡及抖动

深度部分先用MoGe-2估计深度，再以已知背景真实深度对齐尺度；SAM2分离人和物体，反投影成点云。论文式(4)用人体/对象可见网格与相应点云的双向Chamfer距离。使用可见点可减轻不可见表面不应匹配当前深度的错误。[1，式(4)]

接触标签由VLM在均匀抽取的视频帧上判断，再传播到邻近时间段。接触损失只施加在检测到接触的帧；筛选与手部区域在图像上重叠的对象顶点后，只处罚视线方向深度偏差。它假设其他投影损失已经处理平面内对齐。这个深度接触约束不等价于摩擦锥、受力平衡或完整的非穿透动力学约束。[1，式(5)；后一句为独立分析]

5. 从运动学参考到物理机器人动作

5.1 两类跟踪器具有不同可训练部分

GMR把恢复的人体动作重定向至G1。随后在SONIC预训练全身控制器上训练两个互补分支：对象操作使用冻结控制器上的latent adaptor；地形与坐椅使用带高度图的控制器微调。不能把两个分支都写成“只训练小残差网络”。[1，§3.3]

对象适配器观测本体状态、对象在机器人坐标系的位姿、手物变换、接触力、BPS形状编码及未来参考对象位姿相对当前仿真对象的差值。它输出64维latent残差和双手各一维开合信号：

(Δzt,athand)=πφ(st,ot),atbody=G(zt+λΔzt).(\Delta z_t,a_t^{\mathrm{hand}})=\pi_\varphi(s_t,o_t), \qquad a_t^{\mathrm{body}}=\mathcal G(z_t+\lambda\Delta z_t).

这是论文式(6)的主文写法；附录明确残差在FSQ量化前加入编码器输出，λ=0.1\lambda=0.1。最终控制29个身体关节，手部开合分别映射到7个手指DoF的预定义配置。它支持抓握原语，不是任意逐指动作生成器。[1，§3.3、附录B.1]

场景分支使用以机器人为中心的11×11局部高度网格，经CNN提取地形特征，与本体及tokenizer特征融合。控制器与高度编码器一起训练，并增加运动学decoder重建参考动作的辅助MSE损失。训练混入原本平地动作，降低学习地形技能时破坏已有步行能力的风险。[1，§3.3、附录B.2]

5.2 奖励与训练

共同动作跟踪奖励为指数核之和：

Rtmotion=∑iwiexp⁡(−∥x~i,t−xi,t∥2σi2).R_t^{\mathrm{motion}}=\sum_i w_i \exp\left(-\frac{\|\widetilde x_{i,t}-x_{i,t}\|^2}{\sigma_i^2}\right).

参考与仿真量包括根位姿、各身体位置/朝向、线速度和角速度。对象分支增加对象位姿与抓握奖励，后者鼓励持续接触、拇指和食指从相对方向接近及指尖靠近接触中心，并按接触阶段启用。附录进一步区分轨迹标签接触门控与仿真手物接触门控；复现时不能仅按主文总式无条件施加全部项。[1，式(7)–(9)、表6]

两分支均在Isaac Lab中用PPO训练：64张L40，每GPU 1024个环境，30,000迭代。每次运行联合训练2000–4000条同类动作约30小时；新增同类动作从现有策略继续微调通常约6000迭代。论文的每动作0.5–0.9分钟是总墙钟时间除以动作数的摊销值，不能理解成单卡几十秒就训练出一条新的控制器。[1，§3.3、附录B.3]

5.3 视觉策略蒸馏和真实部署

生成数据和跟踪器再训练为两个头部RGB视觉策略，分别执行拾取及上楼。输入图像，输出SONIC的latent token，采用视觉domain randomization。真实G1安装Luxonis OAK-D W相机，将视觉和本体状态流传到RTX 5090桌面，再返回动作，视觉推理10 Hz。物理跟踪策略的特权对象状态不等于实机视觉策略也直接读取同样真值。[1，§3.4]

6. 实验结果及各个“成功率”的定义

6.1 HOI生成的物理可跟踪性

在共享20对象集合上比较HOIDiff、CHOIS、DAViD。几何指标包括接触距离、网格穿透比例；感知Interaction Score由VLM给1–5分；物理可执行性由InterMimic在符合输入人体shape的胶囊刚体模型上跟踪，避免重定向差异干扰。该SR定义为：身体与对象偏差除以对象最大尺寸后都小于0.25的帧比例。[1，§4.1]

方法 接触距离↓ 穿透率↓ VLM交互分↑ 物理跟踪SR↑
HOIDiff 0.012 2.07% 1.79 15.8%
CHOIS 0.034 3.74% 2.47 10.5%
DAViD 0.246 1.46% 2.74 24.0%
GRAIL 0.008 0.90% 3.58 88.9%

数值来自表1。30人用户研究另报告对象用途合理性和物理外观偏好，GRAIL选择率74.7%和70.9%；每次随机展示4方法中的3个，使理论最高选择率为75%，不能按通常“所有比较中100%是满分”的胜率理解。[1，表1、附录表7]

6.2 G1移动操作跟踪

124条动作、43对象上，SR改为episode平均对象位置误差低于20厘米的比例。HDMI 48.5%、ResMimic 49.2%、GRAIL 81.4%；对象误差为0.283、0.393、0.135。两个基线与GRAIL在手指控制及每任务/任务族训练方式上有差别，比较反映整套系统能力，不能全归因于单个网络结构。[1，表2、§4.2]

去掉SONIC从头训练，SR45.0%；没有latent adaptor时39.7%；删除相对对象观测时57.9%。尤其原SONIC身体跟踪误差可更低，却操作成功率最差，这说明身体动作模仿准确并不充分保证对象任务完成。对于接触任务，应同时评价物体结果。[1，表2]

重建损失消融也会传递到控制端：去掉对象投影、深度或接触损失，跟踪SR分别为41.6%、42.6%、53.3%，完整81.4%。完整模型并非每个视觉或几何代理指标都最优，却有最好下游跟踪表现；这是衡量生成数据时不能只看二维重建误差的直接证据。[1，表8]

6.3 真实部署

训练用的五类拾取对象各200条接近—拾取序列。真实测试每对象10次，已见五类平均84%，未见五类平均80%。已见类别内部差异明显，如立方体100%、苹果60%；未见喷雾罐100%、粘毛器50%。楼梯任务报告90%。这是有限对象和场景中的实机验证，不提供广泛开放场景可靠性保证。[1，表3、§4.3]

7. 局限、成本与本项目联系

论文明确依赖三维资产、可仿真场景和遵循指令的视频基础模型；严重遮挡、快速运动或外观不一致会降低重建质量，过滤会丢弃不可忽略的一部分序列，但正文未给完整保留率。动作家族明显变化时，任务族跟踪器仍需训练或微调。[1，§6]

每条5秒、121帧序列在单张A100测得全生成恢复流程约14分钟：视频约1分钟、人体估计2分钟、对象跟踪1分钟、预处理2分钟、联合优化8分钟；视频阶段还涉及外部生成服务。这是离线数据生产流程，不是14分钟中所有阶段都仅靠A100完成，也不是实时行人运动引擎。[1，附录表4]

与本项目的联系（独立分析）：对于“已建Isaac Sim场景中生成人物坐下、搬物、跨台阶等动作”，GRAIL提供从场景资产到交互参考再到物理控制的方案；相比仅有运动学动画的MotionBricks，它更强调交互恢复与可执行数据。若目标只是导航背景中的大量行人行走，完整GRAIL成本可能过高；可先借用其离线交互片段生成与验证部分，将结果作为行为库，而将目的地、社交避让、行人意图交给上层策略。

对于“手机视频转Isaac Sim”，GRAIL并非从任意实拍视频自动恢复环境的通用方案；它利用事先已知场景的优势。如果已有重建场景，可把该场景作为生成条件，再开展受控交互数据扩充。这与先从视频恢复未知场景是两个方向不同的流程。

复现重点：记录相机标定和生成相机一致性；校准尺度；确认拟合人体比例；追踪mask过滤保留率和失败类型；检查接触标签与运动重定向；分别评价动画误差、控制跟踪、对象任务和视觉策略；不要把帧级SR、episode级SR、实机任务SR合并平均。当前官方仓库已公开代码及文档，并在2026年7月标注发布跟踪checkpoint；代码后续也增加其他视频后端，属于论文后的实现演进。此次没有运行这些代码或核验其与用户Isaac Sim环境的兼容性。[4][5]

8. 来源与阅读定位

[1] 项目PDF：Xie et al. - GRAIL Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors.pdf。方法及式(1)–(9)：PDF第4–8页；结果表1–3：第10–11页；局限：第12页；生成细节、PPO与奖励：第19–22页；用户研究与重建消融：第23–24页。

[2] GRAIL官方项目；作者PDF。

[3] arXiv:2606.05160v1。

[4] NVlabs/GRAIL官方仓库。

[5] NVIDIA官方GRAIL数据集。核对日期：2026-10-09。网页后续GR00T混合数据实验不作为本附件原始实验结果统计。