针对大型视觉-语言模型的成员推断攻击
计算机视觉与模式识别
2024-11-06 v1 人工智能
计算与语言
密码学与安全
机器学习
摘要
大型视觉-语言模型（VLLMs）在处理各种应用场景中的多模态任务方面展现出有前景的能力。然而，它们的出现也引发了重大的数据安全问题，因为其训练数据集中可能包含敏感信息，例如私人照片和医疗记录。检测VLLMs中被不当使用的数据仍然是一个关键且未解决的问题，这主要是由于缺乏标准化的数据集和合适的方法论。在本研究中，我们引入了第一个针对各种VLLMs量身定制的成员推断攻击（MIA）基准，以促进训练数据检测。然后，我们提出了一种专门用于令牌级图像检测的新型MIA流程。最后，我们提出了一个基于模型输出置信度的新指标，称为MaxRényi-K%，该指标同时适用于文本和图像数据。我们相信，我们的工作可以加深对VLLMs背景下MIA的理解和方法论。我们的代码和数据集可在 https://github.com/LIONS-EPFL/VL-MIA 获取。
引用
@article{arxiv.2411.02902,
title = {Membership Inference Attacks against Large Vision-Language Models},
author = {Zhan Li and Yongtao Wu and Yihang Chen and Francesco Tonin and Elias Abad Rocamora and Volkan Cevher},
journal= {arXiv preprint arXiv:2411.02902},
year = {2024}
}
备注
NeurIPS 2024