DreamID：基于三元 ID 组学习的高保真快速扩散面部替换
计算机视觉与模式识别
2025-04-28 v3 人工智能
摘要
本文介绍了DreamID——一种基于扩散模型的面部替换模型，实现高度的身份相似性、属性保持、图像保真度和快速推理速度。不同于常规面部替换训练流程（通常依赖隐式监督且难以获得满意效果），DreamID通过构建三元 ID 组数据，显式地建立监督机制，从而显著提升身份相似性和属性保持。扩散模型的迭代特性为利用高效图像空间损失函数带来挑战，因为在训练期间执行耗时的多步采样以获取生成图像不可行。为此，我们采用加速扩散模型SD Turbo，将推理步数缩减至单步，实现基于显式三元 ID 组监督的高效像素级端到端训练。此外，我们提出改进的扩散模型架构，包括SwapNet、FaceNet和ID Adapter。该稳健架构充分发挥三元 ID 组显式监督的力量。最后，为延伸该方法，我们在训练期间修改三元 ID 组数据，以细调和保留特定属性（如眼镜和面部轮廓）。大量实验表明，DreamID在身份相似性、姿态与表情保持以及图像保真度方面均优于当前最先进的方法。总体而言，DreamID以0.6秒的速度实现512×512分辨率的高质量面部替换，并在复杂光照、大角度和遮挡等具备挑战性场景中表现卓越。
引用
@article{arxiv.2504.14509,
title = {DreamID: High-Fidelity and Fast diffusion-based Face Swapping via Triplet ID Group Learning},
author = {Fulong Ye and Miao Hua and Pengze Zhang and Xinghui Li and Qichao Sun and Songtao Zhao and Qian He and Xinglong Wu},
journal= {arXiv preprint arXiv:2504.14509},
year = {2025}
}
备注
Project: https://superhero-7.github.io/DreamID/