一张图片足矣：利用单张图像对视觉文档检索增强生成进行投毒攻击
计算与语言
2026-04-03 v4 密码学与安全
计算机视觉与模式识别
信息检索
摘要
检索增强生成（RAG）通过使用事实知识库（KB）来抑制大型语言模型（LLMs）的幻觉，发挥了关键作用。尽管 PDF 文档是重要的知识来源，但基于文本的 RAG 流水线无法有效捕捉其丰富的多模态信息。相比之下，视觉文档 RAG（VD-RAG）使用文档页面的截图作为 KB，已被证明能取得 SOTA 的结果。然而，通过引入图像模态，VD-RAG 为攻击者引入了新的攻击向量，使其能够通过向 KB 中注入恶意文档来破坏系统。在本文中，我们展示了 VD-RAG 针对检索和生成的投毒攻击的脆弱性。我们定义了两个攻击目标，并证明这两个目标均可通过仅向 KB 中注入单张对抗图像来实现。首先，我们引入了针对一个或一组查询的定向攻击，目标是传播特定的虚假信息。其次，我们提出了一种通用攻击，对于任何潜在的用户查询，它都能影响响应从而导致 VD-RAG 系统的拒绝服务。我们在白盒和黑盒假设下研究了这两个攻击目标，采用了多目标基于梯度的优化方法以及提示 SOTA 生成模型。使用两个视觉文档数据集、多种 SOTA 检索器（嵌入模型）和生成器（视觉语言模型），我们表明 VD-RAG 在定向和通用设置下都容易受到投毒攻击，但在通用设置下对黑盒攻击表现出鲁棒性。
引用
@article{arxiv.2504.02132,
title = {One Pic is All it Takes: Poisoning Visual Document Retrieval Augmented Generation with a Single Image},
author = {Ezzeldin Shereen and Dan Ristea and Shae McFadden and Burak Hasircioglu and Vasilios Mavroudis and Chris Hicks},
journal= {arXiv preprint arXiv:2504.02132},
year = {2026}
}
备注
Published in Transactions on Machine Learning Research (03/2026)