GANimation：基于单张图像的解剖感知面部动画
计算机视觉与模式识别
2018-08-30 v2
摘要
生成对抗网络（GANs）近期的进展在面部表情合成任务上展现出令人印象深刻的成果。最成功的架构是 StarGAN，其以特定域的图像（即共享同一表情的一组人物图像）来条件化 GAN 的生成过程。虽有效，该方法只能生成由数据集内容决定的离散数量表情。为克服此局限，本文引入一种基于动作单元（AU）标注的新型 GAN 条件化方案，该方案以连续流形描述定义人类表情的解剖学面部运动。我们的方法可控制每个 AU 的激活幅度并组合多个 AU。此外，我们提出一种全无监督策略来训练模型，仅需以激活 AU 标注的图像，并利用注意力机制使网络对变化的背景与光照条件具有鲁棒性。大量评估表明，我们的方法在合成由解剖学可行肌肉运动支配的更广范围表情的能力，以及处理自然场景图像的能力上，均超越了竞争的条件的生成器。
引用
@article{arxiv.1807.09251,
title = {GANimation: Anatomically-aware Facial Animation from a Single Image},
author = {Albert Pumarola and Antonio Agudo and Aleix M. Martinez and Alberto Sanfeliu and Francesc Moreno-Noguer},
journal= {arXiv preprint arXiv:1807.09251},
year = {2018}
}
备注
Accepted as oral at ECCV 2018. Code available at https://github.com/albertpumarola/GANimation. Added minor updates