人脸反射场的中单目重建

人脸的反射场描述了导致漫反射、镜面反射、互反射和自阴影等复杂光照效果的反射特性。大多数从单目图像估计人脸反射率的方法假设人脸为漫反射表面，仅有极少数方法加入了镜面分量。这仍遗漏了反射率的重要感知方面，因为高阶全局光照效果和自阴影未被建模。我们提出了一种人脸反射率的新神经表示，可从中从单张单目图像估计决定最终外观的反射率的所有分量。与使用参数化模型分别建模反射率各分量不同，我们的神经表示能够在几何形变不变空间中生成由输入光照方向、视角和人脸几何参数化的人脸基集。我们学习仅从单目图像重建该人脸反射场，并可用于在任意光照条件和视角下渲染人脸。我们的方法在光台（light-stage）训练数据集上训练，该数据集捕获了 300 人在 8 个视角下由 150 种光照条件照射的数据。我们表明，由于更好地捕捉了次表面散射、高光、自阴影及其他高阶效果等物理基元，我们的方法在真实感上优于现有的单目反射率重建方法。