用于一次性渐进式人脸交换的解耦表示学习
计算机视觉与模式识别
2024-11-28 v2
摘要
尽管人脸交换近年来备受关注,但它仍是一个具有挑战性的问题。现有方法利用大量数据样本探索人脸交换的内在属性,而未考虑人脸图像的语义信息。此外,身份信息的表示往往固定,导致次优的人脸交换。在本文中,我们提出了一种简单而高效的方法,名为FaceSwapper,用于基于生成对抗网络(Generative Adversarial Networks)的一次性人脸交换。我们的方法由一个解耦表示模块和一个语义引导融合模块组成。解耦表示模块包含属性编码器和身份编码器,旨在实现身份与属性信息的解耦。身份编码器更为灵活,且属性编码器比同类方法包含更多属性细节。得益于解耦表示,FaceSwapper能够渐进式地交换人脸图像。此外,语义信息被引入语义引导融合模块以控制交换区域并更准确地建模姿态与表情。实验结果表明,我们的方法在基准数据集上以更少的训练样本取得了最先进的(state-of-the-art)结果。我们的代码公开于 https://github.com/liqi-casia/FaceSwapper。
引用
@article{arxiv.2203.12985,
title = {Learning Disentangled Representation for One-shot Progressive Face Swapping},
author = {Qi Li and Weining Wang and Chengzhong Xu and Zhenan Sun and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2203.12985},
year = {2024}
}