Digi2Real：通过基础模型弥合合成数据人脸识别中的真实感差距
计算机视觉与模式识别
2025-01-15 v4
摘要
人脸识别系统的准确率在过去几年中显著提升，这得益于大量数据的收集和神经网络架构的进步。然而，这些大规模数据集通常是在未获得明确同意的情况下收集的，引发了伦理和隐私问题。为解决这一问题，已有提案提出使用合成数据集训练人脸识别模型。然而，此类模型仍然依赖真实数据来训练生成模型，并且整体表现通常不如在真实数据集上训练的模型。其中一个数据集DigiFace使用图形流水线在不使用真实数据的情况下生成不同身份和类内变异。然而，该方法在人脸识别基准测试上的表现较差，可能是因为图形流水线生成的图像缺乏真实感。在本工作中，我们引入了一种新的真实感迁移框架，旨在增强合成生成人脸图像的真实感。我们的方法利用大规模人脸基础模型，并适配了该流水线以进行真实感增强。通过将图形流水线的可控方面与我们的真实感增强技术相结合，我们生成了大量真实感变异，结合了两种方法的优势。我们的实证评估表明，使用我们增强数据集训练的模型显著提升了人脸识别系统的性能，超越了基线。源代码和数据集将在以下链接公开：https://www.idiap.ch/paper/digi2real
引用
@article{arxiv.2411.02188,
title = {Digi2Real: Bridging the Realism Gap in Synthetic Data Face Recognition via Foundation Models},
author = {Anjith George and Sebastien Marcel},
journal= {arXiv preprint arXiv:2411.02188},
year = {2025}
}
备注
The dataset would be available here: https://www.idiap.ch/paper/digi2real Accepted for Publication in WACV 2025