FSNet：一种用于基于图像人脸交换的身份感知生成模型
计算机视觉与模式识别
2022-07-04 v1
摘要
本文提出FSNet，一种用于基于图像人脸交换的深度生成模型。传统的人脸交换方法基于三维可变形模型（3DMMs），并在不同个体的两幅图像所估计的三维（3D）几何之间替换面部纹理。然而，使用3DMMs估计3D几何及不同光照条件仍是一项困难任务。本文中，我们用由所提出的深度神经网络（DNN）赋予的潜变量来表示人脸区域，而非使用面部纹理。所提出的DNN利用人脸区域的潜变量和另一幅非人脸区域图像来合成人脸交换图像。所提方法无需拟合3DMM；此外，它仅通过将两幅人脸图像输入所提网络即可完成人脸交换。因此，我们的基于DNN的人脸交换在具有不同人脸朝向和光照条件的困难输入上优于以往方法。通过若干实验，我们证明了所提方法比最先进（SOTA）方法更稳定地进行人脸交换，且其结果与该方法相当。
引用
@article{arxiv.1811.12666,
title = {FSNet: An Identity-Aware Generative Model for Image-based Face Swapping},
author = {Ryota Natsume and Tatsuya Yatagawa and Shigeo Morishima},
journal= {arXiv preprint arXiv:1811.12666},
year = {2022}
}
备注
20pages, Asian Conference of Computer Vision 2018