基于多假设条件点云扩散的遮挡图像下 3D 人体重建

由于人体-物体或人体-人体相互作用导致严重遮挡，3D 人体形状重建是一项具有挑战性的任务。基于人类形状统计学的参数模型（如 SMPL(-X)）能够表征完整人体形状，但仅限于 minimally-clothed 人体形状。基于隐式函数的方法从参数模型中提取特征以利用人体先验知识，能够捕获服装和发型等几何细节。然而，这些方法往往难以处理误对齐的参数模型，并从单张 RGB 图像中填充遮挡区域。本文提出一种新型管道，MHCDIFF，即 Multi-hypotheses Conditioned Point Cloud Diffusion，由点云扩散模型构成，基于概率分布对像素对齐的详细 3D 人体进行遮挡下的重建。与之前的基于隐式函数的方法相比，点云扩散模型能够捕获全局一致特征以生成遮挡区域，去噪过程还原误对齐的 SMPL 网格。MHCDIFF 的核心在于从多个假设的 SMPL(-X) 网格中提取局部特征并聚合特征集合以条件化扩散模型。在 CAPE 和 MultiHuman 数据集上的实验表明，所提方法在合成和真实遮挡下均优于基于 SMPL、隐式函数、点云扩散及其组合的各种 SOTA 方法。我们的代码已公开于 https://donghwankim0101.github.io/projects/mhcdiff/。