RobustSwap：一种简单而鲁棒、抗属性泄漏的人脸交换模型
计算机视觉与模式识别
2023-03-29 v1 人工智能
摘要
人脸交换旨在将源图像的身份（即面部特征）注入目标图像，同时严格保留与目标身份无关的属性。然而，我们观察到以往方法仍受源属性泄漏困扰，即源图像的属性会干扰目标图像的属性。本文中，我们分析 StyleGAN 的潜空间，找到了适用于人脸交换任务的潜变量恰当组合。基于该发现，我们开发了简单而鲁棒的人脸交换模型 RobustSwap，其能抵抗潜在的源属性泄漏。此外，我们利用 3DMM 的隐式与显式信息协调作为引导，以融合源图像的结构与目标图像的精确姿态。尽管我们的方法仅使用无身份标签的图像数据集进行训练，我们的模型仍能生成高保真且时间一致的视频。通过大量定性与定量评估，我们证明相较以往人脸交换模型，我们的方法在图像与视频合成上均有显著提升。项目页面见 https://robustswap.github.io/
引用
@article{arxiv.2303.15768,
title = {RobustSwap: A Simple yet Robust Face Swapping Model against Attribute Leakage},
author = {Jaeseong Lee and Taewoo Kim and Sunghyun Park and Younggun Lee and Jaegul Choo},
journal= {arXiv preprint arXiv:2303.15768},
year = {2023}
}
备注
21 pages