掩码图像建模的成员推断攻击
密码学与安全
2024-08-14 v1 计算机视觉与模式识别
摘要
掩码图像建模（Masked Image Modeling, MIM）在视觉识别的自监督学习领域取得了显著的成功。通过MIM预训练的图像编码器，涉及对输入图像进行掩码处理和后续重建，能够在各种下游视觉任务中取得最佳性能。然而，现有大多数研究聚焦于提高MIM的性能。在本工作中，我们以不同的视角研究MIM的预训练数据隐私。具体而言，我们提出了首个针对MIM预训练图像编码器的成员推断攻击，旨在确定某图像是否属于MIM预训练数据集。关键设计是模拟MIM的预训练范式，即图像掩码处理及其后续重建，然后获取重建误差。这些重建误差可作为成员信号，用于实现攻击目标，因为编码器在其训练集中对输入图像的重建能力更强，误差更低。我们在三个模型架构和三个基准数据集上进行了广泛评估。实证结果表明，我们的攻击优于基线方法。此外，我们开展了复杂的消融研究，以分析可能影响攻击性能的多个因素。
引用
@article{arxiv.2408.06825,
title = {Membership Inference Attack Against Masked Image Modeling},
author = {Zheng Li and Xinlei He and Ning Yu and Yang Zhang},
journal= {arXiv preprint arXiv:2408.06825},
year = {2024}
}