CLIP认识我的脸吗？

随着深度学习在各种应用中的兴起，围绕训练数据保护的隐私问题已成为一个关键的研究领域。先前的研究集中于单模态模型中的隐私风险，我们则提出了一种评估多模态模型（特别是像CLIP这样的视觉-语言模型）隐私的新方法。所提出的身份推断攻击（Identity Inference Attack, IDIA）通过用同一人的图像查询模型，揭示个体是否包含在训练数据中。让模型从多种可能的文本标签中选择，模型会揭示它是否识别出该人，从而是否曾被用于训练。我们在CLIP上的大规模实验表明，用于训练的个体可以被非常高精度地识别。我们确认模型已学会将姓名与所描绘的个体相关联，这意味着存在可被对手提取的敏感信息。我们的结果凸显了大规模模型中更强隐私保护的必要性，并表明IDIAs可用于证明未经授权使用数据进行训练以及执行隐私法律。