基于区域GAN逆映射的细粒度人脸交换
计算机视觉与模式识别
2023-03-24 v2
摘要
我们提出了一种用于高保真人脸交换的新范式，其忠实保留所需的细微几何与纹理细节。我们从细粒度人脸编辑的角度重新思考人脸交换，即“为交换而编辑”(E4S)，并提出了一种基于面部部件形状与纹理显式解耦的框架。遵循E4S原则，我们的框架支持面部特征的全局与局部交换，以及由用户指定的部分交换程度控制。此外，E4S范式凭借面部掩码天然具备处理面部遮挡的能力。我们系统的核心是一种新颖的区域GAN逆映射(RGI)方法，其允许形状与纹理的显式解耦。它还允许在StyleGAN的潜空间内执行人脸交换。具体而言，我们设计了一个多尺度掩码引导编码器，将每个面部部件的纹理投影为区域风格码。我们还设计了一个掩码引导注入模块，以利用风格码操纵特征图。基于该解耦，人脸交换被重新表述为风格与掩码交换的简化问题。广泛的实验以及与当前最先进方法的比较证明了我们的方法在保留纹理与形状细节以及处理高分辨率图像方面的优越性。项目页面为 http://e4s2022.github.io
引用
@article{arxiv.2211.14068,
title = {Fine-Grained Face Swapping via Regional GAN Inversion},
author = {Zhian Liu and Maomao Li and Yong Zhang and Cairong Wang and Qi Zhang and Jue Wang and Yongwei Nie},
journal= {arXiv preprint arXiv:2211.14068},
year = {2023}
}
备注
Accepted to CVPR 2023