基于自监督学习与光线追踪的丰富反射率高保真单目人脸重建

在一般光照条件下从单目图像进行鲁棒人脸重建具有挑战性。将深度神经网络编码器与可微渲染相结合的方法为几何、光照和反射率的极快单目重建开辟了道路。它们也可以自监督方式训练以提升鲁棒性和泛化能力。然而，它们基于可微光栅化的图像生成模型以及底层场景参数化，将其限制为朗伯人脸反射率和较差的形状细节。近来，光线追踪被引入基于经典优化框架的单目人脸重建中，并实现了最先进的结果。但基于优化的方法本质缓慢且缺乏鲁棒性。在本文中，我们基于上述方法构建工作，提出了一种在一般场景中大幅提高重建质量和鲁棒性的新方法。我们通过将CNN编码器与可微光线追踪器结合来实现这一点，使我们能够基于更先进的个性化漫反射和镜面反照率、更复杂的光照模型以及合理的自阴影表示进行重建。这使得即使在困难光照场景中，形状、外观和光照的重建质量也能实现巨大飞跃。通过一致的人脸属性重建，我们的方法带来了重光照和自阴影去除等实际应用。与最先进方法相比，我们的结果显示了改进的准确性和方法的有效性。