Free-HeadGAN：具有显式视线控制的神经说话头合成
计算机视觉与模式识别
2022-08-04 v1
摘要
我们提出 Free-HeadGAN，一个通用人物的神经说话头合成系统。我们表明，使用稀疏 3D 面部关键点建模人脸足以实现最先进的生成性能，而无需依赖人脸的强统计先验，如 3D 可变形模型。除 3D 姿态和面部表情外，我们的方法能够将从驱动角色到源身份的视线完全转移。我们完整的流程由三个组件构成：一个回归 3D 姿态和表情相关形变的规范 3D 关键点估计器、一个视线估计网络以及一个构建于 HeadGAN 架构之上的生成器。我们进一步实验了在可用多于一张源图像时，使用注意力机制扩展我们的生成器以适应少样本学习。与最新的重演和运动迁移模型相比，我们的系统在实现更高照片真实感并结合更优身份保持的同时，提供了显式视线控制。
引用
@article{arxiv.2208.02210,
title = {Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control},
author = {Michail Christos Doukas and Evangelos Ververas and Viktoriia Sharmanska and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2208.02210},
year = {2022}
}