一种用于单目三维人脸重建的感知形状损失

单目三维人脸重建是一个广泛研究的课题，现有方法或通过快速神经网络推理，或通过离线迭代重建人脸几何来解决该问题。无论哪种情况，都会最小化精心设计的能量函数，通常包括光度损失、关键点重投影损失等损失项。在本工作中，我们受人类在给定特定图像时如何感知三维人脸重建质量的启发，提出了一种用于单目人脸捕捉的新损失函数。众所周知，在人类视觉系统中，明暗 shading 为三维形状提供了强指示。因此，我们新的“感知”形状损失旨在仅利用明暗线索来评判三维人脸估计的质量。我们的损失实现为一个判别器风格的神经网络，其接收输入人脸图像和几何估计的明暗渲染图，然后预测一个分数，从感知上评估该明暗渲染图与给定图像的匹配程度。该“评判”网络仅作用于 RGB 图像和几何渲染图，无需场景中反照率或光照的估计。此外，我们的损失完全在图像空间中运行，因而与网格拓扑无关。我们展示了如何将新的感知形状损失与传统能量项结合用于单目三维人脸优化和深度神经网络回归，从而超越当前最先进的结果。