面向视觉语言模型的成员推断攻击
密码学与安全
2025-02-10 v2 人工智能
摘要
视觉语言模型（VLM）基于预训练的视觉编码器和大型语言模型（LLM），在多模态理解和对话能力方面表现卓越，正在成为下一技术革命的催化剂。然而，尽管大多数VLM研究聚焦于增强多模态交互，但数据滥用和泄露风险却鲜有探讨。这促使我们需从成员推断攻击（MIA）的角度，对此类风险进行全面调查。本文聚焦于VLM的指令调优数据，这些数据更可能包含敏感或未经授权的信息。为克服现有MIA方法的局限，我们引入一种基于样本集合及其对温度（VLMs的独特参数）敏感性的成员推断方法。基于此，我们提出四种针对不同背景知识水平的成员推断方法，最终达到最具挑战性的场景。我们的全面评估表明，这些方法能够准确确定成员身份，例如在针对仅包含5个样本的小型集合时，LLaVA上的AUC可超过0.8。
引用
@article{arxiv.2501.18624,
title = {Membership Inference Attacks Against Vision-Language Models},
author = {Yuke Hu and Zheng Li and Zhihao Liu and Yang Zhang and Zhan Qin and Kui Ren and Chun Chen},
journal= {arXiv preprint arXiv:2501.18624},
year = {2025}
}
备注
Accepted by USENIX'25; 22 pages, 28 figures;