E4S：基于区域GAN反演编辑的细粒度换脸方法
计算机视觉与模式识别
2024-03-28 v3
摘要
本文从细粒度面部编辑的角度提出了一种新颖的换脸方法，称为“为换脸而编辑”（E4S）。传统换脸方法依赖全局特征提取，无法保留详细的源身份。相反，我们提出区域GAN反演（RGI）方法，其允许形状与纹理的显式解耦。具体而言，我们的E4S在预训练StyleGAN的潜空间中进行换脸，其中应用多尺度掩码引导编码器将每个面部组件的纹理投影为区域风格码，并通过掩码引导注入模块利用风格码操纵特征图。基于此种解耦，换脸可简化为风格与掩码交换。此外，由于较大的光照条件差异，将源皮肤迁移至目标图像可能导致光照不和谐。我们提出重新着色网络，使换脸后的人脸在保持目标光照条件的同时保留源皮肤。进一步，为处理掩码交换过程中潜在的不匹配区域，我们设计了人脸修复模块以细化脸型。与最先进方法的广泛比较表明，我们的E4S在保留纹理、形状和光照方面优于现有方法。我们的实现可在 https://github.com/e4s2024/E4S2024 获取。
引用
@article{arxiv.2310.15081,
title = {E4S: Fine-grained Face Swapping via Editing With Regional GAN Inversion},
author = {Maomao Li and Ge Yuan and Cairong Wang and Zhian Liu and Yong Zhang and Yongwei Nie and Jue Wang and Dong Xu},
journal= {arXiv preprint arXiv:2310.15081},
year = {2024}
}
备注
Project Page: https://e4s2024.github.io/ ;. arXiv admin note: text overlap with arXiv:2211.14068