塑造人体：从单张图像进行非参数化三维人体形状估计

在本文中，我们处理从单张 RGB 图像估计三维人体形状的问题。虽然卷积神经网络的最新进展在三维人体姿态估计方面取得了令人瞩目的成果，但估计一个人的完整三维形状仍然是一个悬而未决的问题。基于模型的方法可以输出精确的裸体人体网格，但无法估计细节和未建模的元素，如头发或衣物。另一方面，非参数体积方法理论上可以估计完整的形状，但在实践中，它们受到输出网格分辨率的限制，无法产生详细的估计。在这项工作中，我们提出了一种非参数方法，该方法使用双深度图来表示人的三维形状：估计一个可见深度图和一个“隐藏”深度图，并将其组合起来，像使用“模具”一样重建人体三维形状。这种通过二维深度图的表示方式，与基于体素的体积表示相比，能以更低的维度实现更高分辨率的输出。此外，我们完全可微的基于深度的模型使我们能够以对抗的方式有效地引入判别器，以提高三维输出的准确性和“人样性”。我们在 SURREAL 和 3D-HUMANS 数据集上训练并定量验证了我们的方法，后者是一个新的照片级真实感数据集，由带有三维真值表面标注的半合成内部视频构成。