在GAN潜空间中寻找用于神经面部重演的方向

Stella Bounareli; Vasileios Argyriou; Georgios Tzimiropoulos

在GAN潜空间中寻找用于神经面部重演的方向

计算机视觉与模式识别 2022-10-07 v2 人工智能

作者: Stella Bounareli , Vasileios Argyriou , Georgios Tzimiropoulos

摘要

本文研究面部/头部重演，其目标是将目标面部的面部姿态（3D头部朝向与表情）迁移至源面部。先前的方法聚焦于学习用于身份与姿态解耦的嵌入网络，这被证明是相当困难的任务，降低了生成图像的质量。我们采取不同路径，绕过此类网络的训练，通过使用（微调的）预训练GAN，其已被证明能够生成高质量面部图像。由于GAN以弱可控性为特征，我们方法的核心是一种发现GAN潜空间中哪些方向负责控制面部姿态与表情变化的方法。我们提出了一个简单流程，借助3D形状模型来学习此类方向，该模型按构造已捕获用于面部姿态、身份与表情的解耦方向。此外，我们表明通过将真实图像嵌入GAN潜空间，我们的方法可成功用于真实世界面部的重演。我们的方法具有若干有利特性，包括使用单张源图像（单次）并实现跨人重演。我们的定性与定量结果表明，对于VoxCeleb1 & 2的标准基准，我们的方法常产生比最先进方法显著更高质量的重演面部。源代码见：https://github.com/StelaBou/stylegan_directions_face_reenactment

关键词

面部重演 GAN 潜空间无监督方向发现 3D形状模型单次 StyleGAN

引用

@article{arxiv.2202.00046,
  title  = {Finding Directions in GAN's Latent Space for Neural Face Reenactment},
  author = {Stella Bounareli and Vasileios Argyriou and Georgios Tzimiropoulos},
  journal= {arXiv preprint arXiv:2202.00046},
  year   = {2022}
}

备注

Accepted for publication in BMVC 2022. Project page: https://stelabou.github.io/stylegan-directions-reenactment/ Code: https://github.com/StelaBou/stylegan_directions_face_reenactment

在GAN潜空间中寻找用于神经面部重演的方向

摘要

关键词

引用

备注

相关论文