Vec2Face-v2：基于注意力网络从黑盒人脸识别特征中还原人脸
计算机视觉与模式识别
2023-09-06 v2
摘要
在本工作中，我们研究给定从黑盒人脸识别引擎提取的人脸特征表示进行人脸重建的问题。实际上，由于引擎所抽象信息的局限性，这在实践中是一个极具挑战性的问题。因此，我们引入一种名为蒸馏框架中基于注意力的双射生成对抗网络（DAB-GAN）的新方法，以根据某人提取的人脸识别特征合成其人脸。给定某人任意无约束的未见人脸特征，DAB-GAN均可高清晰度地重建其人脸图像。DAB-GAN方法包含一种新颖的基于注意力的生成结构以及新定义的双射度量学习方案。该框架首先引入双射度量，使得距离度量与度量学习过程可直接用于图像域中的图像重建任务。来自黑盒人脸识别引擎的信息将通过全局蒸馏过程得到最优利用。随后提出一种基于注意力的生成器，以构建高度鲁棒的生成器，合成具有身份保持的真实人脸。我们在具挑战性的人脸识别数据库（即CelebA、LFW、CFP-FP、CP-LFW、AgeDB、CA-LFW）上评估了我们的方法，并一致取得了最先进（SOTA）结果。DAB-GAN在图像真实感与身份保持特性方面的先进性亦得到证明。
引用
@article{arxiv.2209.04920,
title = {Vec2Face-v2: Unveil Human Faces from their Blackbox Features via Attention-based Network in Face Recognition},
author = {Thanh-Dat Truong and Chi Nhan Duong and Ngan Le and Marios Savvides and Khoa Luu},
journal= {arXiv preprint arXiv:2209.04920},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2003.06958