TCDiff：用于合成人脸风格化的带三维约束的三重条件扩散模型
计算机视觉与模式识别
2024-09-06 v1
摘要
稳健的人脸识别模型必须使用包含大量受试者以及每个受试者在不同条件（如姿态、表情、年龄、噪声和遮挡）下具有众多样本的数据集进行训练。由于伦理和隐私问题，大规模真实人脸数据集（如 MS1MV3）已被停用，而利用 GAN 和扩散模型（如 SYNFace、SFace、DigiFace-1M、IDiff-Face、DCFace 和 GANDiffFace）的合成人脸生成器被提出以满足这一需求。这些方法中的一些可以产生高保真且逼真的人脸，但类内方差较低；而另一些则生成高方差的人脸，但身份一致性较低。在本文中，我们提出了一种三重条件扩散模型 (TCDiff)，通过二维和三维人脸约束来改进从真实人脸到合成人脸的人脸风格迁移，在保持必要的高类内方差的同时增强人脸身份一致性。使用我们的新数据集中的 1k、2k 和 5k 类别进行训练的人脸识别实验，在 LFW、CFP-FP、AgeDB 和 BUPT 等真实人脸基准测试中优于最先进的合成数据集。我们的源代码可在以下网址获取：https://github.com/BOVIFOCR/tcdiff。
引用
@article{arxiv.2409.03600,
title = {TCDiff: Triple Condition Diffusion Model with 3D Constraints for Stylizing Synthetic Faces},
author = {Bernardo Biesseck and Pedro Vidal and Luiz Coelho and Roger Granada and David Menotti|},
journal= {arXiv preprint arXiv:2409.03600},
year = {2024}
}
备注
SIBGRAPI 2024