G3FA: 几何引导的生成对抗网络用于人脸动画

人脸图像动画旨在以自然的方式合成期望的源身份，模仿驱动视频的面部运动。在此背景下，生成对抗网络在使用单张源图像进行实时人脸再现方面展现出巨大潜力，但与基于图形的方法相比，其几何一致性有限。本文中，我们引入了几何引导的生成对抗网络用于人脸动画（G3FA）以解决这一局限性。我们的新方法使面部动画模型能够仅使用2D图像融入3D信息，提升了说话头合成模型的图像生成能力。我们集成了逆渲染技术以提取3D面部几何属性，通过判别器的加权平均集成改善了反馈回路。在我们的面部再现模型中，我们利用2D运动扭曲来捕捉运动动态，并结合正交射线采样和体渲染技术来生成最终的视觉输出。为了评估我们的G3FA的性能，我们在VoxCeleb2和TalkingHead基准上使用各种评估协议进行了全面实验，证明了我们提出的框架与最先进的实时面部动画方法相比的有效性。