文档截图检索器面临像素投毒攻击的脆弱性
信息检索
2025-01-29 v1
摘要
近期稠密检索的进展引入了基于视觉语言模型（VLM）的检索器，如DSE和ColPali，这些检索器将嵌入文档截图的向量，以实现有效检索并提供传统文本唯一方法的简化流程。本研究提出三种像素投毒攻击方法，以破坏VLM-based检索器，并评估其在各种攻击场景和参数配置下的有效性。我们的实证结果表明，即使向检索语料库中注入单个对抗截图，也能显著扰乱搜索结果，DSE的前10名检索文档被投毒率达41.9%，ColPali为26.4%。这些脆弱性显著高于等效文本唯一检索器的脆弱性。此外，当针对一小组已知查询时，攻击成功率提升，某些情况下实现完全成功。通过揭示视觉语言模型内在的脆弱性，本工作凸显了其在部署中潜在风险。
引用
@article{arxiv.2501.16902,
title = {Document Screenshot Retrievers are Vulnerable to Pixel Poisoning Attacks},
author = {Shengyao Zhuang and Ekaterina Khramtsova and Xueguang Ma and Bevan Koopman and Jimmy Lin and Guido Zuccon},
journal= {arXiv preprint arXiv:2501.16902},
year = {2025}
}