FaceShifter：面向高保真与遮挡感知的人脸交换
计算机视觉与模式识别
2020-09-16 v3
摘要
在这项工作中，我们提出了一种称为 FaceShifter 的新型两阶段框架，用于高保真且遮挡感知的人脸交换。与许多现有仅利用目标图像有限信息来合成交换人脸的人脸交换工作不同，我们的框架在第一阶段通过彻底且自适应地利用和整合目标属性，生成高保真度的交换人脸。我们提出了一种用于提取多级目标人脸属性的新型属性编码器，以及一种带有精心设计的自适应注意力反归一化（AAD）层的新生成器，以自适应地整合身份与属性用于人脸合成。为解决具有挑战性的人脸遮挡问题，我们追加了由新型启发式误差感知精炼网络（HEAR-Net）组成的第二阶段。该网络以自监督方式训练，无需任何人工标注即可恢复异常区域。在真实场景人脸上的大量实验表明，与其他最先进（SOTA）方法相比，我们的人脸交换结果不仅在感知上更具吸引力，而且在身份保持上也更优。
引用
@article{arxiv.1912.13457,
title = {FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping},
author = {Lingzhi Li and Jianmin Bao and Hao Yang and Dong Chen and Fang Wen},
journal= {arXiv preprint arXiv:1912.13457},
year = {2020}
}
备注
Accepted to CVPR 2020 (Oral), generated dataset and project webpage: lingzhili.com/FaceShifterPage/