基于近距离互动和物理约束的人类重建

现有的多人人类重建方法主要关注恢复准确的姿态或避免穿透，但忽略了对近距离互动的建模。在本工作中，我们针对单目视频中的近距离互动人类重建任务进行了方法设计。该任务的主要挑战源于深度模糊和严重人与人之间遮挡导致的视觉信息不足。在此基础上，我们提出利用近距离行为和物理知识来弥补视觉信息的不足。这是基于人类互动遵循特定社交近距离行为模式这一观察。具体而言，我们首先设计一种基于向量量化变分自编码器（VQ-VAE）的潜在表示来建模人类互动。随后引入一种近距离和物理引导的扩散模型，以对初始分布进行去噪。我们将扩散模型设计为双分支结构，其中每个分支代表一个个体，以便通过交叉注意力来建模互动。借助 VQ-VAE 所学到的先验知识和物理约束作为额外信息，我们的方法能够估计出准确的姿态，这些姿态在近距离和物理上都合理。在 Hi4D、3DPW 和 CHI3D 数据集上的实验结果表明，我们的方法优于现有方法。代码可在 \url{https://github.com/boycehbz/HumanInteraction} 获取。