基于适配器的人脸基础模型人脸嵌入重建
计算机视觉与模式识别
2024-11-07 v1
摘要
人脸识别系统从人脸图像中提取嵌入向量，并使用这些嵌入向量来验证或识别个体。人脸重建攻击（也称为模板反转）指的是从人脸嵌入中重建人脸图像，并使用重建的人脸图像进入人脸识别系统。在本文中，我们提出使用一个人脸基础模型，从黑盒人脸识别模型的嵌入中重建人脸图像。该基础模型经过 42M 张图像的训练，能够从固定人脸识别模型的人脸嵌入中生成人脸图像。我们提出使用一个适配器将目标嵌入转换为基础模型的嵌入空间。生成的图像在不同的人脸识别模型和不同的数据集上进行了评估，证明了我们方法在翻译不同人脸识别模型的嵌入方面的有效性。我们还评估了重建人脸图像在攻击不同人脸识别模型时的可迁移性。我们的实验结果表明，我们重建的人脸图像在针对人脸识别模型的先前重建攻击中表现更优。
引用
@article{arxiv.2411.03960,
title = {Face Reconstruction from Face Embeddings using Adapter to a Face Foundation Model},
author = {Hatef Otroshi Shahreza and Anjith George and Sébastien Marcel},
journal= {arXiv preprint arXiv:2411.03960},
year = {2024}
}