MrM：针对多模态 RAG 系统的黑箱成员推断攻击
计算机视觉与模式识别
2025-06-10 v1 人工智能
摘要
多模态检索增强生成（RAG）系统通过集成跨模态知识来增强大型视觉语言模型，使其在实际场景中的多模态任务应用日益增多。这些知识库可能包含需要隐私保护的敏感信息。然而，多模态 RAG 系统本质上为外部用户提供了对此类数据的间接访问，可能使其易受隐私攻击，尤其是成员推断攻击（MIA）。% 现有针对 RAG 系统的 MIA 方法主要聚焦于文本模态，而视觉模态相对缺乏探讨。为弥合这一差距，我们提出了 MrM——首个针对多模态 RAG 系统的黑箱 MIA 框架。它利用受反事实攻击约束的多目标数据扰动框架，能够同时诱导 RAG 系统检索目标数据并生成泄露成员信息的生成内容。我们的 метод首先采用对象感知的数据扰动方法，将扰动限制在关键语义上，确保检索成功。基于此，我们设计了反事实信息化掩码选择策略，以优先选择最具信息性的掩码区域，旨在消除模型自身知识的干扰并放大攻击效能。最后，通过对查询试验进行统计建模来提取反映掩码语义重建的响应模式特征，从而实现成员推断。在两个视觉数据集和八个主流商业视觉语言模型（如 GPT-4o、Gemini-2）上的实验表明，MrM 在样本级和集合级评估中均表现出一致的强劲性能，并在自适应防御下保持鲁健性。
引用
@article{arxiv.2506.07399,
title = {MrM: Black-Box Membership Inference Attacks against Multimodal RAG Systems},
author = {Peiru Yang and Jinhua Yin and Haoran Zheng and Xueying Bai and Huili Wang and Yufei Sun and Xintian Li and Shangguang Wang and Yongfeng Huang and Tao Qi},
journal= {arXiv preprint arXiv:2506.07399},
year = {2025}
}