减轻属性编辑对人脸识别的影响
计算机视觉与模式识别
2024-04-11 v2
摘要
通过对多样化人脸图像的大规模研究，我们表明使用现代生成式 AI 模型进行人脸属性编辑会严重降低自动人脸识别系统的性能。即使使用保持身份的生成模型，这种性能下降依然存在。为缓解这一问题，我们提出了两种用于局部和全局属性编辑的新技术。我们通过实验消融研究了使用最先进生成模型编辑的二十六种面部语义、人口统计和表情属性，并在 CelebA、CelebAMaskHQ 和 LFW 数据集上使用 ArcFace 和 AdaFace 匹配器进行评估。最后，我们使用新兴的视觉问答框架 LLaVA 进行属性预测，以验证我们的编辑技术。我们的方法在面部编辑方面优于当前最先进的技术 (BLIP、InstantID)，同时显著提高了身份保留程度。
引用
@article{arxiv.2403.08092,
title = {Mitigating the Impact of Attribute Editing on Face Recognition},
author = {Sudipta Banerjee and Sai Pranaswi Mullangi and Shruti Wagle and Chinmay Hegde and Nasir Memon},
journal= {arXiv preprint arXiv:2403.08092},
year = {2024}
}
备注
Under review