ID2image：人脸描述符中非身份信息的泄漏及从描述符到图像的反演
计算机视觉与模式识别
2023-04-18 v1
摘要
使用深度 CNN 将人脸图像嵌入到描述符向量是人脸识别中广泛使用的技术。通过若干可能的训练策略，此类嵌入应当仅捕获身份信息。关于环境（如背景和光照）或人脸可变方面（如姿态、表情、是否戴眼镜、帽子等）的信息应被丢弃，因为它们对识别无用。在本文中，我们展示了一个令人惊讶的结果：事实并非如此。我们表明，非身份属性以及关键点位置和图像直方图可以从最先进的人脸嵌入网络（VGGFace2 和 ArcFace）的 ID 嵌入中恢复。事实上，这些非身份属性从 ID 嵌入中预测的精度与从原始图像预测时相近。进一步，我们提出了一种利用生成模型（具体为人脸的 StyleGAN2）从 ID 嵌入恢复图像的优化策略。我们展示了从 ID 嵌入到人脸图像的照片级真实感反演，其中不仅身份被真实重建，姿态、光照和背景/服饰也在一定程度上被重建。
引用
@article{arxiv.2304.07522,
title = {ID2image: Leakage of non-ID information into face descriptors and inversion from descriptors to images},
author = {Mingrui Li and William A. P. Smith and Patrik Huber},
journal= {arXiv preprint arXiv:2304.07522},
year = {2023}
}
备注
SCIA 2023