FACEGAN：面部属性可控的重演GAN
计算机视觉与模式识别
2020-11-10 v1
摘要
人脸重演是一种流行的人脸动画方法，其中人物身份取自源图像，面部运动取自主驱动图像。近期工作通过将基于面部标志点的运动表示与生成对抗网络相结合，展示了高质量结果。这些模型在源图像和驱动图像描绘同一人或面部结构其他方面非常相似时表现最佳。然而，若身份不同，驱动面部结构会泄漏到输出中，扭曲重演结果。我们提出了一种新颖的面部属性可控重演GAN(FACEGAN)，它通过动作单元(AU)表示将驱动人脸的面部运动迁移过来。与面部标志点不同，AU独立于面部结构，可防止身份泄漏。此外，AU提供了一种人类可解释的方式来控制重演。FACEGAN分别处理背景与面部区域以优化输出质量。大量的定量与定性比较表明，在单源重演任务上相对于最先进水平有清晰提升。结果在补充材料所提供的重演视频中得到最佳展示。源代码将在论文发表后公开。
引用
@article{arxiv.2011.04439,
title = {FACEGAN: Facial Attribute Controllable rEenactment GAN},
author = {Soumya Tripathy and Juho Kannala and Esa Rahtu},
journal= {arXiv preprint arXiv:2011.04439},
year = {2020}
}
备注
Accepted to WACV-2021