ReliableSwap：通过可靠监督提升通用换脸性能
计算机视觉与模式识别
2023-06-09 v1
摘要
几乎所有先进的换脸方法都使用重建作为代理任务，即仅当目标与源属于同一人时存在监督。否则，由于缺乏像素级监督，这些方法难以保持源身份。本文提出构建可靠监督，称为循环三元组，当训练时源身份与目标不同时，其作为图像级引导。具体而言，我们提前使用面部重演与混合技术从真实图像合成换脸人脸，该合成人脸保持源身份与目标属性。然而，此类合成人脸可能存在某些伪影。为避免潜在伪影并驱动网络输出分布接近自然分布，我们在换脸训练阶段反向将合成图像作为输入，而以真实人脸作为可靠监督。此外，我们通过实验发现现有方法倾向于丢失源的下半脸细节如脸型与嘴部。本文额外设计了一个FixerNet，提供下半脸的判别性嵌入作为增强。我们的换脸框架名为ReliableSwap，能以可忽略的开销提升任何现有换脸网络的性能。大量实验证明了我们的ReliableSwap的有效性，尤其在身份保持方面。项目页面为https://reliable-swap.github.io/。
引用
@article{arxiv.2306.05356,
title = {ReliableSwap: Boosting General Face Swapping Via Reliable Supervision},
author = {Ge Yuan and Maomao Li and Yong Zhang and Huicheng Zheng},
journal= {arXiv preprint arXiv:2306.05356},
year = {2023}
}
备注
Project page: https://reliable-swap.github.io/ ; Github repository: https://github.com/ygtxr1997/ReliableSwap ; Demo (HuggingFace): https://huggingface.co/spaces/ygtxr1997/ReliableSwap_Demo ;