FSGAN：与主体无关的换脸与面部重演
计算机视觉与模式识别
2019-08-19 v1 图形学
机器学习
摘要
我们提出用于换脸与面部重演的 Face Swapping GAN (FSGAN)。与以往工作不同，FSGAN 与主体无关，可应用于人脸对而无需在这些人脸上进行训练。为此，我们描述了一系列技术贡献。我们推导出一种基于循环神经网络 (RNN) 的新型面部重演方法，可同时调整姿态与表情变化，并能应用于单张图像或视频序列。对于视频序列，我们引入基于重演、Delaunay 三角剖分与重心坐标的人脸视角连续插值。被遮挡的人脸区域由一个人脸补全网络处理。最后，我们使用一个人脸融合网络对两张人脸进行无缝融合，同时保留目标肤色与光照条件。该网络采用一种结合泊松优化与感知损失的新型泊松融合损失。我们将我们的方法与现有最先进系统进行比较，并在定性与定量上均展现出更优的结果。
引用
@article{arxiv.1908.05932,
title = {FSGAN: Subject Agnostic Face Swapping and Reenactment},
author = {Yuval Nirkin and Yosi Keller and Tal Hassner},
journal= {arXiv preprint arXiv:1908.05932},
year = {2019}
}
备注
2019 IEEE/CVF International Conference on Computer Vision (ICCV)