Spa-VLM：针对基于 RAG 的视觉语言模型的隐蔽投毒攻击
密码学与安全
2025-06-02 v1
摘要
随着视觉语言模型（VLM）的快速发展，视觉问答（VQA）任务取得了显著进展。然而，由于缺乏最新知识，现有 VLM 经常生成不准确的答案。为解决此问题，近期研究将大型语言模型（LLM）中常用的检索增强生成（RAG）技术引入 VLM，结合外部多模态知识以提升 VLM 系统的准确性与实用性。然而，LLM 中的 RAG 可能容易受到数据投毒攻击，基于 RAG 的 VLM 同样可能面临该攻击的威胁。本文首次揭示了基于 RAG 的大模型在投毒攻击下的脆弱性，表明现有单模态 RAG 投毒攻击在多模态 RAG 场景下的失败率为 100%。为填补这一空白，我们提出了 Spa-VLM（Stealthy Poisoning Attack on RAG-based VLM），一种针对大模型投毒攻击的新范式。我们精心构造了包含对抗图像和误导性文本的恶意多模态知识条目，并将其注入 RAG 的知识库。当用户访问 VLM 服务时，系统可能生成具有误导性的输出。我们在两个 Wikipedia 数据集和两种不同的 RAG 上评估了 Spa-VLM。结果表明，我们的方法实现了高度隐蔽的投毒，在包含 10 万和 200 万条目的知识库中仅注入 5 条恶意条目后，攻击成功率即超过 0.8，优于为基于 RAG 的 LLM 设计的最先进投毒攻击。此外，我们评估了多种防御机制，最终均证明无法有效抵御 Spa-VLM，这凸显了我们攻击的有效性与鲁棒性。
引用
@article{arxiv.2505.23828,
title = {Spa-VLM: Stealthy Poisoning Attacks on RAG-based VLM},
author = {Lei Yu and Yechao Zhang and Ziqi Zhou and Yang Wu and Wei Wan and Minghui Li and Shengshan Hu and Pei Xiaobing and Jing Wang},
journal= {arXiv preprint arXiv:2505.23828},
year = {2025}
}