用于人脸图像编辑的视觉表示

我们提出一种编辑人脸图像的新方法，其支持许多令人兴奋的应用，包括人脸重光照、化妆迁移和人脸细节编辑。我们的人脸编辑基于一种视觉表示，其包括几何、人脸分割、反照率、光照和细节图。为了恢复我们的视觉表示，我们首先使用可变形人脸模型估计几何，然后分解人脸图像以恢复反照率，接着用反照率和光照对几何进行着色。我们的着色几何与输入图像之间的残差产生我们的细节图，其携带了被我们的着色过程不充分或错误捕获的高频信息。通过操纵细节图，我们可以编辑人脸图像并保持真实感和身份。我们的表示允许各种应用。首先，它允许用户直接操纵各种光照。其次，它允许在保留输入人脸独特身份特征的情况下进行非参数化妆迁移。第三，它允许通过转移细节对非参数地修改人脸外观。对于人脸重光照和细节编辑，我们通过用户研究进行评估，我们的方法优于其他方法。对于化妆迁移，我们通过在线吸引力评估系统进行评估，并能可靠地使人看起来更年轻、更有吸引力。我们还展示了与现有方法的广泛定性比较，并且相对于先前技术有显著改进。