面向视觉无监督编码器的统一成员推断方法：基于Part-aware能力

无监督学习在充分利用大量无标签数据方面展现出广阔前景，但在视觉领域也面临着显著的隐私问题。本文旨在更贴近实际场景下，对视觉无监督模型进行成员推断：攻击者在实际操作中通常面临的是黑箱系统，因而对自监督训练方法及细节并不了解。在此场景下，考虑到自监督模型可能通过不同的自监督范式（如掩码图像建模和对比学习）进行训练，且训练细节复杂多变，我们提出了一种统一成员推断方法，称为PartCrop。其灵感来源于模型之间共享的Part-aware能力，以及对训练数据的更强Part响应。具体而言，PartCrop通过裁剪图像中对象的部分区域，以表示空间中的图像查询响应。我们在使用三种广泛采用的数据集对不同训练协议和结构的自监督模型进行大规模攻击，结果验证了PartCrop的有效性与普适性。此外，为防御PartCrop，我们评估了两种常见方法，即提前停止和差分隐私，并提出了一种量身定制的方法，称为缩小裁剪尺度范围。防御实验表明，所有方法都有效。我们的代码已公开于https://github.com/JiePKU/PartCrop。