从单张图像联合重建真实感穿衣人体与物体

近期从单张 RGB 图像联合重建 3D 人体与物体的方法使用基于模板或粗糙模型来表示 3D 形状，无法捕捉人体上宽松衣物的细节。本文提出了一种新颖的隐式方法，用于从单目视图联合重建真实感的 3D 穿衣人体与物体。首次，我们同时对人体和物体采用隐式表示，从而能够捕捉更真实的细节，例如衣物。由于人体-物体遮挡以及 2D 图像中缺乏 3D 信息，该任务极具挑战性，常导致细节重建不佳和深度模糊。为解决这些问题，我们提出了一种基于注意力的神经隐式模型，利用输入人体-物体图像中的像素对齐来全局理解人体-物体场景，同时利用人体和物体图像的局部独立视图来提高真实感，例如衣物细节。此外，网络以从估计的人体-物体姿态先验中导出的语义特征为条件，从而提供人体与物体共享空间的 3D 空间信息。为处理物体引起的人体遮挡，我们使用生成式扩散模型对遮挡区域进行修复，恢复否则会丢失的细节。为训练和评估，我们引入了一个合成数据集，包含渲染的相互遮挡的 3D 人体扫描与多样物体场景。在合成和真实数据集上的广泛评估表明，所提出的人体-物体重建方法优于竞争方法。