ID-Booth：基于扩散模型的身份一致人脸生成
计算机视觉与模式识别
2025-10-14 v6
摘要
生成建模的最新进展使得能够生成适用于包括人脸识别在内的多个领域的高质量合成数据。目前，最先进的生成模型通常依赖于对强大的预训练扩散模型进行条件控制和微调，以促进生成所需身份的逼真图像。然而，这些模型在训练时通常不考虑主体的身份，导致生成图像与预期身份之间的一致性较差。相比之下，采用基于身份的训练目标的方法往往在身份的各个方面过拟合，从而降低了可生成图像的多样性。为解决这些问题，本文提出了一种新颖的基于扩散的生成框架，称为ID-Booth。ID-Booth由一个负责数据生成的去噪网络、一个将图像映射到低维潜在空间及反向映射的变分自编码器，以及一个允许基于提示控制生成过程的文本编码器组成。该框架利用新颖的三元组身份训练目标，在保留预训练扩散模型合成能力的同时，实现了身份一致的图像生成。使用最先进的潜在扩散模型和多样化提示的实验表明，我们的方法在保持更高图像多样性的同时，比竞争方法实现了更好的身份内一致性和身份间可分离性。进而，生成的数据能够以隐私保护的方式有效扩增小规模数据集，并训练出性能更好的识别模型。ID-Booth框架的源代码公开于https://github.com/dariant/ID-Booth。
引用
@article{arxiv.2504.07392,
title = {ID-Booth: Identity-consistent Face Generation with Diffusion Models},
author = {Darian Tomašević and Fadi Boutros and Chenhao Lin and Naser Damer and Vitomir Štruc and Peter Peer},
journal= {arXiv preprint arXiv:2504.07392},
year = {2025}
}
备注
IEEE International Conference on Automatic Face and Gesture Recognition (FG) 2025, 14 pages