FlowFace：语义流引导的形状感知换脸
计算机视觉与模式识别
2022-12-07 v1 人工智能
摘要
本文中，我们提出一种语义流引导的两阶段形状感知换脸框架，即FlowFace。与大多数先前方法侧重于迁移源脸内部特征而忽略面部轮廓不同，我们的FlowFace能够将二者均迁移至目标脸，从而实现更真实的换脸。具体而言，我们的FlowFace由人脸重塑网络和换脸网络组成。人脸重塑网络解决源脸与目标脸之间的形状轮廓差异。它首先估计源脸与目标脸之间的语义流（即人脸形状差异），随后利用估计的语义流显式地扭曲目标脸形状。重塑之后，换脸网络生成展现源脸身份的内部面部特征。我们采用预训练的人脸掩码自编码器（MAE）从源脸和目标脸中提取面部特征。与先前使用身份嵌入来保留身份信息的方法不同，我们的编码器提取的特征能更好地捕捉面部外观与身份信息。接着，我们设计了一个交叉注意力融合模块，自适应地将源脸的内部面部特征与目标面部属性融合，从而实现更好的身份保留。在真实场景人脸上的大量定量与定性实验表明，我们的FlowFace显著优于最先进方法。
引用
@article{arxiv.2212.02797,
title = {FlowFace: Semantic Flow-guided Shape-aware Face Swapping},
author = {Hao Zeng and Wei Zhang and Changjie Fan and Tangjie Lv and Suzhen Wang and Zhimeng Zhang and Bowen Ma and Lincheng Li and Yu Ding and Xin Yu},
journal= {arXiv preprint arXiv:2212.02797},
year = {2022}
}