针对大规模多模态模型的实用成员推断攻击：一项初步研究

成员推断攻击（MIAs）旨在推断某个数据点是否已被用于训练机器学习模型。这些攻击可用于识别潜在的隐私漏洞并检测对个人数据的未经授权使用。虽然 MIAs 传统上针对简单分类模型进行研究，但多模态预训练（如 CLIP）的最新进展已在一系列计算机视觉任务中展现出显著的零样本性能。然而，数据和模型的庞大规模给执行攻击带来了巨大的计算挑战。本文朝着开发针对大规模多模态模型的实用 MIAs 迈出了第一步。我们引入了一种简单的基线策略，通过对目标点的文本与图像特征之间的余弦相似度进行阈值化，并提议通过聚合目标在多种变换下的余弦相似度来进一步增强基线。我们还提出了一种新的弱监督攻击方法，利用真实的非成员（例如，通过使用目标模型的发布日期和开放数据的时间戳获得）来进一步增强攻击。我们的评估表明，CLIP 模型易受我们的攻击策略影响，我们的简单基线实现了超过 $75\%$ 的成员识别准确率。此外，我们的增强攻击在多个模型和数据集上优于基线，其中弱监督攻击展示了 $17\%$ 的平均情况性能提升，并且在低假阳性率下至少有效 $7$ 倍。这些发现凸显了保护多模态基础模型隐私的重要性，此前由于过拟合较少，它们被认为较不易受 MIAs 影响。我们的代码可在 https://github.com/ruoxi-jia-group/CLIP-MIA 获取。