AniFaceGAN：面向视频虚拟形象的可动画三维感知人脸图像生成
计算机视觉与模式识别
2022-10-13 v1
摘要
尽管二维生成模型在人脸图像生成与动画方面取得了很大进展，但当从不同相机视角渲染图像时，它们常出现如三维不一致等不期望的伪影。这阻碍了它们合成与真实视频动画难以区分的结果。近来，三维感知GAN通过利用三维场景表示将相机位姿显式解耦，扩展了二维GAN。这些方法能很好地保持生成图像在不同视角下的三维一致性，却无法对其他属性实现细粒度控制，其中面部表情控制可以说是人脸动画中最有用且最令人期望的。本文提出一种可动画的三维感知GAN，用于多视角一致的人脸动画生成。核心思想是将三维感知GAN的三维表示分解为模板场与形变场，前者以规范表情表示不同身份，后者刻画每个身份的表情变化。为通过形变实现对面部表情的有意义控制，我们提出在三维感知GAN的对抗训练期间，生成器与参数化三维人脸模型之间的三维级模仿学习方案。这有助于我们的方法即使仅以非结构化二维图像训练，也能实现具有高视觉三维一致性的可动画人脸图像生成。大量实验证明了我们相对于先前工作的优越性能。项目页面：https://yuewuhkust.github.io/AniFaceGAN
引用
@article{arxiv.2210.06465,
title = {AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars},
author = {Yue Wu and Yu Deng and Jiaolong Yang and Fangyun Wei and Qifeng Chen and Xin Tong},
journal= {arXiv preprint arXiv:2210.06465},
year = {2022}
}
备注
Accepted by NeurIPS 2022. Project Page: https://yuewuhkust.github.io/AniFaceGAN