百万像素级单次人脸交换
计算机视觉与模式识别
2022-03-22 v2
摘要
人脸交换既有娱乐、人机交互等正向应用，也有深度伪造(DeepFake)对政治、经济等构成威胁等负面应用。然而，理解高质量人脸交换先进方法的机理，并生成足够且具有代表性的人脸交换图像来训练 DeepFake 检测算法是必要的。本文提出首个百万像素级(Megapixel)单次人脸交换方法（简称 MegaFS）。首先，MegaFS 通过所提出的层次化表示人脸编码器（HieRFE）在扩展的潜空间中层次化地组织人脸表示，以保留更多面部细节，而非先前人脸交换方法中的压缩表示。其次，提出一个精心设计的面部迁移模块（FTM），通过非线性轨迹将身份从源图像迁移到目标，无需显式特征解耦。最后，利用 StyleGAN2 的训练稳定性与强大生成能力合成交换后的人脸。MegaFS 的各部件可分别训练，因此模型对 GPU 内存的需求可满足百万像素人脸交换。总之，完整的人脸表示、稳定的训练与受限的内存占用是本研究方法成功的三大新颖贡献。大量实验证明了 MegaFS 的优越性，并发布了首个百万像素级人脸交换数据库，用于公开领域的 DeepFake 检测与人脸图像编辑研究。数据集位于此链接。
引用
@article{arxiv.2105.04932,
title = {One Shot Face Swapping on Megapixels},
author = {Yuhao Zhu and Qi Li and Jian Wang and Chengzhong Xu and Zhenan Sun},
journal= {arXiv preprint arXiv:2105.04932},
year = {2022}
}