通过寻找GAN潜空间方向实现单样本神经人脸重演
计算机视觉与模式识别
2024-02-07 v1
摘要
在本文中，我们提出了用于神经人脸/头部重演的框架，其目标是将目标人脸的3D头部朝向和表情迁移到源人脸。以往的方法侧重于学习用于身份和头部姿态/表情解耦的嵌入网络，这被证明是一项相当困难的任务，会降低生成图像的质量。我们采用了一种不同的方法，通过使用（微调后的）预训练GAN来绕过此类网络的训练，这些GAN已被证明能够生成高质量的面部图像。由于GAN的特点是可控性较弱，我们方法的核心是一种发现潜GAN空间中哪些方向负责控制头部姿态和表情变化的方法。我们提出了一个简单的流程，借助3D形状模型来学习这些方向，该模型通过构造，固有地捕获了头部姿态、身份和表情的解耦方向。此外，我们展示了通过将真实图像嵌入到GAN潜空间，我们的方法可以成功地用于真实世界人脸的重演。我们的方法具有几个有利特性，包括使用单张源图像（单样本）和实现跨人重演。大量的定性和定量结果表明，在VoxCeleb1和VoxCeleb2的标准基准测试上，我们的方法通常能生成质量明显优于最先进方法的重演人脸。
引用
@article{arxiv.2402.03553,
title = {One-shot Neural Face Reenactment via Finding Directions in GAN's Latent Space},
author = {Stella Bounareli and Christos Tzelepis and Vasileios Argyriou and Ioannis Patras and Georgios Tzimiropoulos},
journal= {arXiv preprint arXiv:2402.03553},
year = {2024}
}
备注
Preprint version, accepted for publication in International Journal of Computer Vision (IJCV)