HyperReenact：通过联合学习细化与重定位人脸的一次性重演方法
计算机视觉与模式识别
2023-07-21 v1
摘要
在本文中，我们提出一种称为HyperReenact的神经人脸重演方法，旨在生成由目标面部姿态驱动的源身份的真实说话头部图像。现有的最先进人脸重演方法训练可控生成模型以学习合成真实面部图像，但所产生的重演人脸容易出现显著视觉伪影，尤其在极端头部姿态变化的挑战性条件下，或需要昂贵的少样本微调以更好地保留源身份特征。我们提议通过利用预训练StyleGAN2生成器的真实感生成能力与解耦特性来解决这些局限，首先将真实图像反演至其潜空间，随后使用超网络执行：（i）源身份特征的细化与（ii）面部姿态重定位，从而消除对通常产生伪影的外部编辑方法的依赖。我们的方法在一次性设定下运行（即使用单张源帧），并允许跨主体重演，无需任何主体特定的微调。我们在VoxCeleb1和VoxCeleb2标准基准上针对若干最先进技术进行定量与定性比较，证明了我们的方法在生成无伪影图像方面的优越性，即使在极端头部姿态变化下也展现出显著鲁棒性。我们公开代码与预训练模型：https://github.com/StelaBou/HyperReenact。
引用
@article{arxiv.2307.10797,
title = {HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces},
author = {Stella Bounareli and Christos Tzelepis and Vasileios Argyriou and Ioannis Patras and Georgios Tzimiropoulos},
journal= {arXiv preprint arXiv:2307.10797},
year = {2023}
}
备注
Accepted for publication in ICCV 2023. Project page: https://stelabou.github.io/hyperreenact.github.io/ Code: https://github.com/StelaBou/HyperReenact