DiffFace：基于扩散模型与人脸引导的人脸交换方法
计算机视觉与模式识别
2022-12-29 v1
摘要
本文首次提出一种基于扩散模型的人脸交换框架，称为 DiffFace，由训练 ID 条件 DDPM、带人脸引导的采样以及保目标融合三部分组成。具体而言，在训练过程中，ID 条件 DDPM 被训练用于生成具有期望身份的人脸图像。在采样过程中，我们利用现成人脸专家模型使模型在忠实保留目标属性的同时迁移源身份。在此过程中，为保留目标图像的背景并获得期望的人脸交换结果，我们额外提出了一种保目标融合策略。它帮助我们的模型在迁移源人脸身份的同时从噪声中保持目标人脸的属性。此外，无需任何重新训练，我们的模型可灵活施加额外的人脸引导并自适应控制身份-属性权衡以达到期望结果。据我们所知，这是首个将扩散模型应用于人脸交换任务的方案。与先前基于 GAN 的方法相比，借助扩散模型用于人脸交换任务，DiffFace 取得了更好的优势，如训练稳定性、高保真度、样本多样性与可控性。大量实验表明，我们的 DiffFace 在多个标准人脸交换基准上与最先进方法相当或更优。
引用
@article{arxiv.2212.13344,
title = {DiffFace: Diffusion-based Face Swapping with Facial Guidance},
author = {Kihong Kim and Yunho Kim and Seokju Cho and Junyoung Seo and Jisu Nam and Kychul Lee and Seungryong Kim and KwangHee Lee},
journal= {arXiv preprint arXiv:2212.13344},
year = {2022}
}
备注
Project Page: https://hxngiee.github.io/DiffFace