基于深度生成模型图像重建的 SIFT 特征隐私泄露研究

许多实际应用，例如基于内容的图像检索和目标识别，严重依赖于从查询图像中提取的局部特征。由于这些局部特征通常暴露给不可信的第三方，图像局部特征的隐私泄露问题近年来受到越来越多的关注。在这项工作中，我们全面评估了尺度不变特征变换（Scale Invariant Feature Transform, SIFT）的隐私泄露情况，SIFT 是应用最广泛的图像局部特征之一。我们首先考虑攻击者能够完全访问 SIFT 特征的情形，即 SIFT 描述子和坐标均可用。我们提出了一种新颖的端到端、由粗到细的深度生成模型，用于从其 SIFT 特征重建潜在图像。所设计的深度生成模型由两个网络组成，其中第一个网络试图通过将 SIFT 特征转换为局部二值模式（Local Binary Pattern, LBP）特征来学习潜在图像的结构信息，而第二个网络旨在由学习到的 LBP 引导重建像素值。与最先进的算法相比，所提出的深度生成模型在三个公开数据集上产生了大幅改善的重建结果。此外，我们处理了更具挑战性的情形，即攻击者仅能访问部分 SIFT 特征（SIFT 描述子或坐标之一）。研究表明，如果攻击者只能访问 SIFT 描述子而不能获取其坐标，则对于高度结构化的图像（如人脸）可实现一定程度的潜在图像重建，但在一般场景下会失败。另外，仅从 SIFT 坐标即可以相当好的质量重建潜在图像。我们的结果表明，如果能够很好地保护 SIFT 坐标，隐私泄露问题在很大程度上可以避免。