从单张图像重建穿着衣物的交互多人3D模型

本文引入了一种新的流程，从单张图像在全局一致的场景空间中重建穿着衣物的交互多人几何结构。主要挑战来自于遮挡：由于被他人或自身遮挡，部分人体在单视角下不可见，这引入了缺失的几何结构和物理上的不合理性（例如穿透）。我们通过利用两种人类先验来实现完整的3D几何结构和表面接触，从而克服了这一挑战。对于几何先验，编码器学习将缺失身体部位的人物图像回归到潜在向量；解码器将这些向量解码以生成相关几何结构的3D特征；隐式网络将这些特征与表面法线图相结合，以重建完整且详细的3D人体。对于接触先验，我们开发了一种图像空间接触检测器，输出3D中人与人之间表面接触的概率分布。我们使用这些先验在全局上优化身体姿态，实现了在场景空间中穿着衣物的交互多人的无穿透且准确的重建。结果表明，与现有方法相比，我们的方法是完整的、全局一致的且物理合理的。