Face Transformer：迈向高保真且精准的人脸交换
计算机视觉与模式识别
2023-04-06 v1
摘要
人脸交换旨在生成融合源人脸身份与目标人脸属性的交换图像。大多数现有工作通过三维建模或使用生成对抗网络（GANs）的生成来解决这一具有挑战性的任务，但三维建模受限于重建精度不足，而 GANs 往往难以保留源人脸细微却重要的身份细节（如肤色、面部特征）以及目标人脸的结构属性（如脸型、面部表情）。本文提出 Face Transformer，一种新颖的人脸交换网络，能够在交换后的人脸图像中同时精准保留源身份与目标属性。我们为人脸交换任务引入了一个 transformer 网络，该网络学习源人脸与目标人脸之间高质量的语义感知对应关系，并将源人脸的身份特征映射到目标人脸中的对应区域。这种高质量的语义感知对应关系能够实现源身份信息的平滑且准确的迁移，同时最小化对目标形状与表情的修改。此外，我们的 Face Transformer 引入了多尺度变换机制以保留丰富的精细面部细节。大量实验表明，我们的 Face Transformer 在定性与定量上均取得了优越的人脸交换性能。
引用
@article{arxiv.2304.02530,
title = {Face Transformer: Towards High Fidelity and Accurate Face Swapping},
author = {Kaiwen Cui and Rongliang Wu and Fangneng Zhan and Shijian Lu},
journal= {arXiv preprint arXiv:2304.02530},
year = {2023}
}