基于风格融合的高保真换脸

深度学习方法促进了大量人脸合成，换脸技术因此获得了显著关注。然而，以往以生成对抗网络（GAN）为骨干的换脸方法面临着融合不一致、畸变、伪影以及训练稳定性等问题。为了解决这些局限性，我们提出了一种用于高保真换脸的创新端到端框架。首先，我们引入一个基于 StyleGAN 的面部属性编码器，从人脸中提取关键特征并将其反演为隐式风格码，从而封装成功换脸所需不可或缺的面部属性。其次，我们引入一个基于注意力的风格融合模块，以有效地将人脸 ID 从源图像迁移到目标图像。为确保准确且高质量的迁移，我们实现了一系列约束措施，包括对比人脸 ID 学习、面部关键点对齐以及双重换脸一致性。最后，融合后的风格码通过风格解码器被转换回图像空间，该解码器具有较高的训练稳定性和生成能力。在 CelebA-HQ 数据集上的大量实验表明，与其他 state-of-the-art 方法相比，我们换脸方法生成的图像具有卓越的视觉质量，且每个提出的模块均行之有效。源代码和权重将公开发布。