基于扩散模型的真实且高效面部置换：统一方法
计算机视觉与模式识别
2024-09-12 v1
摘要
尽管面部置换任务取得了显著进展，但真实置换图像仍然遗憾，尤其是在高姿态变换、颜色差异和遮挡场景下常常伴随明显伪影。为此，我们提出一种新方法，通过以下核心贡献更好地利用扩散模型进行面部置换：（a）我们提出将面部置换任务重新定义为自监督的训练时 inpainting问题，旨在增强身份转换同时与目标图像融合。（b）我们引入多步去噪扩散隐式模型（DDIM）采样，以强化身份和感知相似性。（c）我们引入CLIP特征解耦，从目标图像中提取姿态、表情和光照信息，以提升保真度。（d）进一步，我们在inpainting训练中引入掩码随机化技术，这使我们能够创建一种称为“通用置换模型”，具有额外的头部置换功能。我们不仅能置换发型甚至配件，超越传统面部置换。与依赖多个即用型模型的先前工作不同，我们的方法相对统一，因而对其他即用型模型的错误更具鲁棒性。在FFHQ和CelebA数据集上进行大量实验验证了我们方法的有效性和鲁棒性，展示了在最小推理时间下实现高保真、逼真的面部置换。我们的代码已公开于https://github.com/Sanoojan/REFace。
关键词
引用
@article{arxiv.2409.07269,
title = {Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models},
author = {Sanoojan Baliah and Qinliang Lin and Shengcai Liao and Xiaodan Liang and Muhammad Haris Khan},
journal= {arXiv preprint arXiv:2409.07269},
year = {2024}
}
备注
Accepted as a conference paper at WACV 2025