Vec2Face：利用松散约束向量扩展人脸数据集生成
计算机视觉与模式识别
2025-02-10 v4
摘要
本文研究如何合成不存在之人的人脸图像，以创建一个能够有效训练人脸识别(FR)模型的数据集。除了生成逼真的人脸图像外，另外两个重要目标是：1) 能够生成大量不同的身份（类间分离）；2) 每个身份的图像外观具有适当的变化（类内变化）。然而，现有的工作 1) 在能生成多少分离良好的身份方面通常受限；2) 要么忽略属性增强，要么使用外部模型进行属性增强。我们提出了 Vec2Face，这是一个整体模型，仅使用采样向量作为输入，能够灵活地生成和控制人脸图像的身份及其属性。Vec2Face 由特征掩蔽自编码器和图像解码器组成，通过人脸图像重建进行监督，并可方便地用于推理。使用彼此相似度低的向量作为输入，Vec2Face 能生成分离良好的身份。在较小范围内随机扰动输入身份向量，使 Vec2Face 能够生成具有适当面部属性变化的同一身份的人脸。还可以通过梯度下降方法调整向量值来生成具有指定属性的图像。Vec2Face 已高效合成了多达 30 万个身份，而先前工作中创建的最大身份数量为 6 万。在性能方面，使用生成的 HSFace 数据集（包含 1 万至 30 万个身份）训练的 FR 模型在五个真实世界测试集（即 LFW、CFP-FP、AgeDB-30、CALFW 和 CPLFW）上实现了从 92% 到 93.52% 的 SOTA 准确率。首次在 CALFW、IJBB 和 IJBC 测试集上，使用我们的合成训练集训练的 FR 模型取得了比使用同等规模真实人脸图像训练集训练的模型更高的准确率。
引用
@article{arxiv.2409.02979,
title = {Vec2Face: Scaling Face Dataset Generation with Loosely Constrained Vectors},
author = {Haiyu Wu and Jaskirat Singh and Sicong Tian and Liang Zheng and Kevin W. Bowyer},
journal= {arXiv preprint arXiv:2409.02979},
year = {2025}
}
备注
Accepted at ICLR2025