生成对抗说话人脸：利用弱监督神经网络让肖像栩栩如生
计算机视觉与模式识别
2018-03-29 v2
摘要
本文提出了生成对抗说话人脸（GATH），一种新颖的深度生成神经网络，能够利用连续的动作单元（AU）系数对任意肖像进行全自动的面部表情合成。具体而言，我们的模型直接操作图像像素，使静止照片中未见过的主体表达由面部 AU 系数值控制的各种情绪，同时保持其个人特征（如面部几何形状、肤色和发型）以及原始周围背景。与先前的工作不同，GATH 是纯数据驱动的，它既不需要统计人脸模型，也不需要图像处理技巧来实现面部变形。此外，我们的模型是从非配对数据中训练的，其中输入图像（带有取自野外大量静止照片的辅助身份标签）和目标帧来自不同的人。为了有效地学习这种模型，我们提出了一种新颖的弱监督对抗学习框架，由生成器、判别器、分类器和动作单元估计器组成。我们的工作实现了无需模板和目标的表情编辑，用户只需提供任意 AU 系数即可轻松将静止人脸动画化。
引用
@article{arxiv.1803.07716,
title = {Generative Adversarial Talking Head: Bringing Portraits to Life with a Weakly Supervised Neural Network},
author = {Hai X. Pham and Yuting Wang and Vladimir Pavlovic},
journal= {arXiv preprint arXiv:1803.07716},
year = {2018}
}
备注
Fix typos, add youtube link of supplementary video