面向真实世界的 PIFu：从单视图图像重建着装人体的自监督框架

从单张图像精确重建由各种姿态与服装导致的复杂人体几何极具挑战性。近来，基于像素对齐隐函数（PIFu）的工作取得重大进展，在基于图像的 3D 人体数字化上达到了最先进的保真度。然而，PIFu 的训练严重依赖昂贵且有限的 3D 真值数据（即合成数据），从而阻碍了其向更多样真实世界图像的泛化。本工作中，我们提出名为 SelfPIFu 的端到端自监督网络，以利用丰富多样的野外图像，从而在未经约束的野外图像测试时大幅改善重建效果。SelfPIFu 的核心为深度引导的体积/表面感知符号距离场（SDF）学习，其使得无需 GT 网格访问即可对 PIFu 进行自监督学习。整体框架由法线估计器、深度估计器与基于 SDF 的 PIFu 组成，并在训练时更好地利用额外的深度 GT。大量实验证明了我们自监督框架的有效性及使用深度作为输入的优势。在合成数据上，我们的交并比（IoU）达到 93.5%，较 PIFuHD 提高 18%。对于野外图像，我们对重建结果进行了用户研究，相较于其他最先进方法，我们结果的选择率超过 68%。