SAFA：结构感知人脸动画

生成对抗网络（GAN）近期的成功使人脸动画任务取得重大进展。然而，人脸图像复杂的场景结构仍使得生成人脸姿态显著偏离源图像视频具有挑战性。一方面，在不了解面部几何结构的情况下，生成的人脸图像可能发生不当扭曲。另一方面，生成图像的某些区域可能在源图像中被遮挡，这使得 GAN 难以生成逼真的外观。为解决这些问题，我们提出一种结构感知人脸动画（SAFA）方法，其构建特定的几何结构来建模人脸图像的不同组成部分。遵循公认基于运动的面部动画技术，我们使用三维可变形模型（3DMM）建模人脸，多个仿射变换建模头发与胡须等其他前景组件，以及单位变换建模背景。3DMM 几何嵌入不仅有助于为驱动场景生成逼真结构，还有助于更好地感知生成图像中的遮挡区域。此外，我们进一步提出利用被广泛研究的修复技术来忠实恢复被遮挡的图像区域。定量与定性实验结果均显示了我们方法的优越性。代码见 https://github.com/Qiulin-W/SAFA。