Uni-Inter：统一不同交互情境下的三维人体动作合成

1. 文献信息与主要结论

• 中文题目：Uni-Inter：统一不同交互情境下的三维人体动作合成。
• 作者：Sheng Liu、Yuanzhi Liang、Jiepeng Wang、Sidan Du、Chi Zhang、Xuelong Li；前两位共同第一作者，来自南京大学与中国电信TeleAI。
• 正式发表：SIGGRAPH Asia 2025 Conference Papers，11页，DOI:10.1145/3757377.3763954。
• 项目版本：arXiv:2511.13032v2，2026年9月7日修订；初稿为2025年11月17日。因此应归为2025论文、2026修订版本，不能仅按项目文件名中的“2026”判断发表年份。[1][2]

Uni-Inter以同一种三维语义占用表示编码人、物体和场景，再用扩散模型生成与该空间对齐的关节位置概率分布。它研究的是给定交互上下文的人体动作生成，尤其是多种实体同时出现时的组合交互。人—物实验把物体位姿序列当条件，模型主要生成对应人体动作；并非从一句话同时产生全部人的目标、物体动力学和场景演化。[1，§4、5.2]

2. 问题来源与前作限制

人体交互模型常被按任务拆分：人—人模型使用骨架序列，人—物模型使用物体几何或轨迹，人—场景模型使用点云、占用或场景特征。各自结构与训练数据不同，难以直接组合。例如，一人拿起杯子、把杯子递给另一人并坐下，同时涉及人体间相对关系、手物接触与座椅支撑；分开生成再拼接可能出现空间不一致。[1，§1–2]

论文认为，主要问题不是再增加一个专门交互分支，而是让异构条件及生成结果都表达在同一空间中。其结构由两个部分构成：统一交互体积UIV（Unified Interactive Volume）以及与UIV对齐的关节概率分布和正则化。前者统一输入语义和几何，后者避免输入在空间体积中、输出却完全由独立旋转回归处理的表示差异。[1，§4]

“统一”有具体范围：三类实体使用共享通道规则、同一模型混合训练；不等于所有交互类型在数据上被充分覆盖，也不等于任意数量主体下的推理成本不增长。复合交互能力主要由定性实例展示，三套标准数据上的量化结果则支持基础三类任务。[1，§5；后一判断为对证据范围的分析]

3. 输入输出与统一交互体积

给定文本$c_{\mathrm{text}}$、上下文$c$和高斯噪声$\epsilon$，生成长度为$T$、每帧$K$个关节的人体动作：

$m_{1:T}=G(\epsilon;c_{\mathrm{text}},c),\qquad m_{1:T}=\{j_t^{1:K}\}_{t=1}^{T}.$

这是对§4任务定义的整理。对于人—人任务，上下文包含作为条件的人的运动；对于人—物任务，包含对象几何及其逐帧变换；对于场景交互，包含静态或动态场景元素。生成主体与条件主体在功能上不同，不能把响应动作生成说成对所有参与者完全对称的联合决策。[1，§4.1、图3–7]

3.1 语义占用编码

在固定、有界三维空间$\mathcal S$内建立$H\times W\times D$体素。三类实体使用one-hot标记，例如人$[1,0,0]$、物体$[0,1,0]$、场景$[0,0,1]$。论文式(3)–(5)写为：

$\phi_t(u)=\sum_{c\in\mathcal C}\mathbb I_c(u,t)c, \quad V_t\in\mathbb R^{H\times W\times D\times3}, \quad\Omega=\{V_t\}_{t=1}^{T}.$

$\mathbb I_c(u,t)$表示时刻$t$体素$u$是否被该类型实体占据。人体运动先通过SMPL转为网格，对象顶点按各帧旋转和平移变换，场景同样离散化。多尺度金字塔提取UIV特征，并将不同尺度特征注入生成网络对应的下采样阶段。[1，§4.1]

同一语义类别可合并多个实体，所以输入格式不需要为每新增一种对象单独定义分支；但三通道也不自动保留每个个体的身份。若任务需要持续区分两名外形接近的参与者，是否需要实例级标记是额外设计问题。这是基于表示的独立分析，不是论文已验证的实例追踪能力。

3.2 “固定体积”与“动态条件”的区别

UIV使用固定空间边界，但占用随时间变化，因此“固定体积”并非“场景完全静止”。论文设$H=W=D=48$，实际范围高2.4米、宽及深各4.8米。按此设置换算，高度网格间隔约5厘米，另外两轴约10厘米；相同索引分辨率不代表物理空间中各轴等距。这是从作者配置得到的单位换算，复现时应明确索引坐标和米制坐标的转换。[1，§5.1]

4. 为什么输出关节概率分布

4.1 从坐标回归改为热图生成

对关节$k$、时刻$t$，以真实位置$j_t^k$为中心构造高斯空间目标。论文式(6)采用：

$P_t^k(u)=\frac{1}{(2\pi\sigma^2)^{3/2}} \exp\left(-\frac{\|u-j_t^k\|_2^2}{2\sigma^2}\right).$

模型输出整个序列的热图$P\in\mathbb R^{T\times H\times W\times D\times K}$，再按式(7)取一阶矩恢复关节坐标：

$\widehat j_t^k=\mathbb E_{\widehat P_t^k}[u].$

这种soft-argmax式坐标恢复可微，且概率质量可以分布在相邻体素，因此坐标不必锁定在体素中心。与argmax只返回最高格点不同，期望可表达亚体素位置。[1，§4.2]

数学与实现说明：论文用连续积分表达期望；离散网格上的实现应对应$\sum_u\widehat p(u)u$，并保证有限体积内概率归一化。连续高斯的归一化常数不能直接保证截断离散网格求和为1。另一个限制是，多峰分布的均值可能落在两个模式之间；扩散生成具有随机性，不代表对单次热图取均值就能完全消除这一问题。以上是对公式的独立说明。

4.2 扩散训练

采用直接预测干净样本$x_0$的扩散模型；此处$x_0=P$，不是直接的关节旋转序列。文本经CLIP编码为512维特征，UIV为另一条件。训练扩散过程设1000步，推理采用DDIM。不能把“1000个训练噪声级”直接当成已证实的部署推理迭代次数；主文没有提供足够的实际时延证据。[1，§3、5.1]

训练序列为40帧，batch size 32，最多50万步，初始学习率$3\times10^{-5}$线性下降。文中设高斯宽度$\sigma=3$，但使用该数值前应核查代码中的坐标单位，不应把它直接解释为3米。[1，§5.1]

5. UIV-aligned regularization与联合训练

论文用概率图重建损失加坐标、速度、骨架向量和初始朝向约束：

$\mathcal L=\mathcal L_{\mathrm{rec}} +\lambda_1\mathcal L_{\mathrm{pos}} +\lambda_2\mathcal L_{\mathrm{vel}} +\lambda_3\mathcal L_{\mathrm{sk}} +\lambda_4\mathcal L_{\mathrm{ori}}.$

这是论文式(13)，权重$\lambda_{1,2,3}=0.1$、$\lambda_4=1$。$\mathcal L_{\mathrm{pos}}$约束热图期望与真实关节坐标；$\mathcal L_{\mathrm{vel}}$约束坐标时间导数；$\mathcal L_{\mathrm{sk}}$约束父子关节差向量；$\mathcal L_{\mathrm{ori}}$为预测和真实初始方向的余弦距离。[1，式(8)–(13)]

骨架损失并非只比较骨长：父子差向量同时含长度与方向信息。其作用是避免各关节在局部空间上看似合理、合起来却形成不一致骨架。朝向损失与取消起始朝向归一化配套，让模型从交互布局中学习起始方向，而不是所有序列都从预设朝向开始。[1，§4.2]

人—人、人—物、人—场景数据以1:1:1的任务比例混合。均衡的是任务采样，并不意味着原始数据集有相同长度或相同动作复杂度。输出可通过SMPLify从关节位置拟合SMPL姿态，用于可视化；人体shape在此阶段固定为默认值。因此，动作生成效果与多样人体形状适配是两个不同能力。[1，§4.2–5.1]

6. 实验、指标和消融

6.1 数据与协议

交互类型	数据集	数据与划分
人—物	FullBodyManipulation	约10小时、15个不同对象的人物同步动作
人—人	NTU120-AS	8118个多视角序列、26类动作；使用Camera 1，跨主体划分
人—场景	TRUMANS	15小时动捕；选择有文本标注片段，训练/验证/测试为7:2:1

正文还提到Chi3D-AS补充评价，但项目附件未包含相应补充结果，本文不补造其数值。距离类指标统一为厘米；FID衡量评估特征空间的分布距离；Diversity的目标是接近真实分布，不是一味越大越好；MultiModality反映同条件多样性。[1，§5]

6.2 主要结果

场景/指标	基线	Uni-Inter	应如何理解
人—物，FID↓	CHOIS 0.69	0.51	特征分布更接近真实动作
人—物，接触F1↑	CHOIS 0.67	0.86	接触关系改善
人—物，MPJPE cm↓	CHOIS 15.30	12.15	人体关节位置误差下降
人—物，根平移误差cm↓	CHOIS 24.43	11.20	根轨迹误差约下降54%
人—场景，FID↓	TRUMANS 13.290	2.650	在本评估器下显著改善
人—场景，目标距离cm↓	TRUMANS 25.434	20.136	约改善20.8%
人—人，FID↓	ReGenNet 3.045	2.216	分布质量改善

数值来自表1–3，百分比为基于表值的相对下降或作者相同报告。需要同时看反例：人—物脚滑指标0.39仍高于CHOIS的0.35；人—人的MultiModality为16.507，略低于ReGenNet的16.598。因此结果支持多数质量和几何指标的优势，不能表述为“全部指标最优”。[1，表1–3]

图4–7展示了更准确的手物接触、人与人相对位置、文本指定左手和躺下动作，以及混合实体交互。但复杂组合没有在主文中形成独立、足量且报告置信区间的复合任务测试套件，示例不能代替完整的开放世界交互验证。[1，§5.3；后一判断为独立评估]

6.3 消融揭示什么

只用单一任务训练时，人—物FID从0.51变为0.54，人—场景从2.650变为3.517，人—人从2.216变为2.247。联合训练确有收益，但部分位置指标并未改善，例如人—物单任务MPJPE为12.03，略优于统一模型的12.15。其优势更接近总体分布与交互质量的折中，而不是普遍降低所有误差。[1，表4–6]

将概率分布输出直接改为运动学参数回归后，三类任务FID明显恶化，说明该模型依赖UIV与输出空间的匹配。由于替换会改变输出结构和优化性质，这一消融支持“该框架内的表示选择有效”，不能证明所有坐标/旋转预测模型都不可行。[1，表4–6；后一项为独立分析]

删除速度或骨架向量损失，人—物接触F1分别从0.86降至0.67、0.68；删除朝向损失，FID从0.51升到0.67。人—人和人—场景中，删除骨架约束也产生较大FID恶化。与此同时，某些位置或脚滑单项可能改善，再次说明损失之间有多目标权衡。[1，表7–9]

7. 实质创新、局限与本项目应用

实质创新是“统一输入空间＋对齐输出分布＋共享训练”三个部分的结合。把所有对象编码成体素本身不足以保证交互协调；输出关节概率图及骨架/速度约束进一步把生成动作与空间关系联系起来。与分别训练人—人、人—物、人—场景网络相比，参数和表示更容易共享，但统一语义通道也可能损失实例身份或精细材料信息。这是基于论文结构的分析。[1]

论文结论明确把部分观测、因果、实时生成列为后续工作。现有方法依赖整个时间片内的条件UIV，尚未证明能在不知道其他行人未来动作时，以低延迟闭环响应；扩散与高维$T\times H\times W\times D\times K$输出还带来计算和存储开销。[1，§6；计算影响为独立分析]

与Isaac Sim行人模拟的关系（独立分析）：它更适合生成“与人交谈、接物、在家具旁坐下”等局部交互动作片段，丰富单纯NavMesh行走之外的语义行为。可以离线根据已知场景和参与者轨迹生成动作，再重定向为USD骨架动画；若想在线控制人群，则还需要行为意图、局部路径规划、未来条件预测、因果化生成和片段衔接。它没有直接提供社交导航策略，也没有将关节热图变成PhysX力矩控制。

若用于benchmark，尤其要避免将未来机器人真实轨迹输入行人条件模型，却宣称行人仅依赖当前观察做响应。应分别标明轨迹回放、已知计划条件生成、预测条件生成和真正闭环反应四种设置。否则测试难度与因果关系都会变化。

复现重点：统一三数据集的坐标、身体比例、骨架、帧率与文本；检查体素边界及超界动作；明确概率图归一化、$\sigma$单位和离散期望；保持1:1:1任务采样；对比生成关节与SMPL拟合后关节的误差；分别测量扩散推理、体素构建和骨架拟合耗时。本文未运行作者代码，补充材料中未附带的网络细节与DDIM步数不能仅凭主文推断。

8. 来源与阅读定位

[1] 项目PDF：Liu et al. - 2026 - Uni-Inter Unifying 3D Human Motion Synthesis Across Diverse Interaction Contexts.pdf。任务定义及UIV：PDF第4页；概率图及损失：第5页、式(6)–(13)；实验设置与表1–6：第5–7页；定性结果和损失消融：第7–10页；未来工作：第10页。

[2] arXiv:2511.13032v2；正式论文DOI。

[3] 原文指定官方代码：Darkdawner/Uni-Inter。本次核对了论文中代码链接，但工具未直接抓取该仓库成功，未确认代码、权重及全部数据预处理脚本完整性。外部核对日期：2026-10-09。