面向视觉自监督编码器的统一且可扩展成员推断方法基于部件感知能力
计算机视觉与模式识别
2025-05-16 v1
摘要
自监督学习在充分利用大量无标签数据方面展现了潜力，但也面临着在视觉领域的显著隐私关注。本文在更贴近实际的情境下对视觉自监督模型进行成员推断：攻击者在攻击时通常面对的是黑箱系统，因而对自监督训练方法和细节几乎不知情。在这种情况下，考虑到自监督模型可能通过不同的自监督范式（如掩码图像建模和对比学习）进行训练，且训练细节复杂，我们提出一种统一成员推断方法称为PartCrop。其灵感来源于模型之间共享的部件感知能力以及对训练数据的更强部件响应。具体而言，PartCrop对图像中的对象部件进行裁剪，以在表示空间中查询图像内的响应。我们使用三个广泛使用的图像数据集对不同训练协议和结构的自监督模型进行广泛的攻击。结果验证了PartCrop的有效性和泛化性。此外，为防御PartCrop，我们评估了两种常见方法，即提前停止和差分隐私，并提出一种量身定制的方法称为缩小裁剪尺度范围。防御实验表明，这些方法都有效。最终，除了在玩具视觉编码器和小规模图像数据集上的原型测试外，我们在现实场景中定量研究了从数据和模型方面进行规模化扩展的影响，并通过引入两种结构性改进提出PartCrop-v2。我们的代码位于https://github.com/JiePKU/PartCrop。
引用
@article{arxiv.2505.10351,
title = {A Unified and Scalable Membership Inference Method for Visual Self-supervised Encoder via Part-aware Capability},
author = {Jie Zhu and Jirong Zha and Ding Li and Leye Wang},
journal= {arXiv preprint arXiv:2505.10351},
year = {2025}
}
备注
An extension of our ACM CCS2024 conference paper (arXiv:2404.02462). We show the impacts of scaling from both data and model aspects on membership inference for self-supervised visual encoders