基于自适应潜表示学习的端到端换脸
计算机视觉与模式识别
2023-03-09 v1 人工智能
摘要
充分利用 StyleGAN 的优异性能，近期基于风格迁移的换脸方法被广泛研究。然而，这些研究需要独立的面部分割与融合模块以成功换脸，且其中对操控潜代码的固定选择较为盲目，从而降低了换脸质量、泛化性与实用性。本文提出一种新颖的端到端集成框架，通过自适应潜表示学习实现高分辨率与属性保持的换脸。具体而言，我们首先设计了一个多任务双空间人脸编码器，通过共享底层特征提取网络同时完成面部区域感知与人脸编码。该编码器使我们能够分别控制人脸姿态与属性，从而提升换脸质量。接下来，我们提出自适应潜代码交换模块，自适应地学习面部属性与潜代码之间的映射，并选择有效潜代码以改进面部属性的保留。最后，将由 StyleGAN2 生成的初始换脸图像与我们编码器生成的面部区域掩码相融合，以解决背景模糊问题。我们的框架将面部感知与融合集成到端到端训练与测试过程中，无需分割掩码即可在野生人脸下实现高真实感换脸。实验结果表明了我们的方法相对于最先进方法的优越性能。
引用
@article{arxiv.2303.04186,
title = {End-to-end Face-swapping via Adaptive Latent Representation Learning},
author = {Chenhao Lin and Pengbin Hu and Chao Shen and Qian Li},
journal= {arXiv preprint arXiv:2303.04186},
year = {2023}
}