DCFace：基于双条件扩散模型的合成人脸生成
计算机视觉与模式识别
2023-04-17 v1
摘要
为训练人脸识别模型而生成合成数据集是一项挑战，因为数据集生成不仅仅是创建高保真图像，还涉及在同一主体在不同因素（例如姿态、光照、表情、年龄和遮挡的变化）下生成多张图像，且需遵循真实图像的条件分布。已有研究利用 GAN 或 3D 模型生成合成数据集。本文从结合主体外观（ID）与外部因素（风格）条件入手解决该问题。这两种条件为控制类间与类内差异提供了直接途径。为此，我们提出了一种基于扩散模型的双条件人脸生成器（DCFace）。我们新颖的块级风格提取器与时间步依赖的 ID 损失使 DCFace 能够在不同风格下持续生成同一主体的面部图像并实现精确控制。在 LFW、CFP-FP、CPLFW、AgeDB 和 CALFW 这 5 个测试数据集中有 4 个上，使用所提 DCFace 合成图像训练的人脸识别模型相比先前工作平均验证准确率高出 。代码见 https://github.com/mk-minchul/dcface
引用
@article{arxiv.2304.07060,
title = {DCFace: Synthetic Face Generation with Dual Condition Diffusion Model},
author = {Minchul Kim and Feng Liu and Anil Jain and Xiaoming Liu},
journal= {arXiv preprint arXiv:2304.07060},
year = {2023}
}
备注
To appear in CVPR 2023