基于可微光线追踪的实用人脸重建

我们提出一种基于可微光线追踪的新颖人脸重建方法，其中场景属性——三维几何、反射率（漫反射、镜面反射和粗糙度）、姿态、相机参数和场景光照——从未受限的单目图像中估计。所提方法通过一种新颖的参数化虚拟光照台对场景光照建模，其与可微光线追踪结合，引入了用于人脸重建的由粗到精优化公式。我们的方法不仅能处理无约束光照和自阴影条件，还能估计漫反射和镜面反射反照率。为了一致且具有实用语义地估计人脸属性，两阶段优化策略系统地使用参数化属性的子集，其中后续属性估计考虑先前已估计的属性。例如，第一阶段估计的自阴影，在后续阶段防止其被烘焙进个性化漫反射和镜面反射反照率中。我们在多个真实场景展示了方法的有效性，即便在极端光照条件下也能估计人脸属性。消融研究、分析以及与若干近期最先进方法的比较显示了我们方法准确性和通用性的提升。通过一致的人脸属性重建，我们的方法带来了若干风格——光照、反照率、自阴影——编辑与迁移应用，如文中所述。