GANDiffFace：结合真实变化的可控合成人脸识别数据集生成
计算机视觉与模式识别
2023-06-01 v1
摘要
近年来，在大规模数据集可用的推动下，人脸识别系统取得了显著进展。然而，近期出现了若干问题，包括导致成熟公共数据集停用的隐私担忧。合成数据集已成为一种解决方案，尽管当前的合成方法存在其他缺陷，如类内变化有限、缺乏真实感以及人口群体代表不公平。本研究提出 GANDiffFace，一种用于生成人脸识别合成数据集的新框架，其结合生成对抗网络（GANs）与扩散模型（Diffusion models）的能力，以克服现有合成数据集的局限。在 GANDiffFace 中，我们首先提议使用 GANs 合成高度真实的身份并满足目标人口分布。随后，我们用 GANs 生成的图像微调扩散模型，合成同一身份具有多种配饰、姿态、表情和场景的多个图像。我们通过改变 GANDiffFace 设置生成多个合成数据集，并将其匹配与非匹配分数分布与流行的人脸识别真实世界数据集（即 VGG2 和 IJB-C）所提供的分布进行比较。我们的结果显示了所提 GANDiffFace 的可行性，特别是使用扩散模型将 GANs 提供的（有限的）类内变化增强至真实世界数据集的水平。
引用
@article{arxiv.2305.19962,
title = {GANDiffFace: Controllable Generation of Synthetic Datasets for Face Recognition with Realistic Variations},
author = {Pietro Melzi and Christian Rathgeb and Ruben Tolosana and Ruben Vera-Rodriguez and Dominik Lawatsch and Florian Domin and Maxim Schaubert},
journal= {arXiv preprint arXiv:2305.19962},
year = {2023}
}
备注
8 pages, 6 figures