以自我中心视角在三维场景中概率性恢复人体网格

在社会交互过程中自动感知人类行为对 AR/VR 应用至关重要，其中一个基本组成部分是从自我中心视角估计社交伙伴合理的三维人体姿态与形状。该任务最大的挑战之一是由于自我中心场景下较近的社交距离导致的严重身体截断，这给不可见身体部位带来巨大的姿态模糊性。为应对这一挑战，我们提出了一种新颖的基于场景条件的扩散方法来建模身体姿态分布。以三维场景几何为条件，扩散模型生成具有合理人-场景交互的身体，并通过基于物理的碰撞分数引导采样来进一步解决人-场景相互穿透问题。无分类器训练实现了带不同条件的灵活采样并增强了多样性。由逐关节可见性引导的可见性感知图卷积模型作为扩散去噪器，以融入关节间依赖关系和身体部位级控制。大量评估表明，我们的方法生成了与三维场景合理交互的身体，对可见关节实现了更高的精度，对不可见身体部位实现了更好的多样性。代码见 https://sanweiliti.github.io/egohmr/egohmr.html。