区域感知换脸
计算机视觉与模式识别
2022-03-21 v2
摘要
本文提出一种新颖的区域感知换脸（RAFSwap）网络，以局部-全局方式实现身份一致且和谐的高分辨率人脸生成：\textbf{1)} 局部面部区域感知（FRA）分支通过引入Transformer有效建模未对齐的跨尺度语义交互，增强局部身份相关特征。\textbf{2)} 全局源特征自适应（SFA）分支进一步补充全局身份相关线索，以生成身份一致的换脸结果。此外，我们提出一个结合StyleGAN2的\textit{面部掩码预测器}（FMP）模块，以无监督方式预测身份相关的柔和面部掩码，更利于生成和谐的高分辨率人脸。大量定性定量实验表明，相比SOTA方法，我们的方法在生成更具身份一致性的高分辨率换脸方面更优，\eg，取得96.70的ID检索率，优于SOTA方法MegaFS达5.87。
引用
@article{arxiv.2203.04564,
title = {Region-Aware Face Swapping},
author = {Chao Xu and Jiangning Zhang and Miao Hua and Qian He and Zili Yi and Yong Liu},
journal= {arXiv preprint arXiv:2203.04564},
year = {2022}
}