从云层到幻觉：遥感视觉语言 RAG 系统的大气检索劫持
计算机视觉与模式识别
2026-05-11 v1 人工智能
摘要
多模态 RAG 系统日益依赖视觉语言检索器将视觉查询锚定在外部文本证据上。现有对 RAG 的对抗研究主要操纵检索语料库或记忆库，而针对视觉语言和遥感模型的攻击通常针对最终任务预测。输入空间对遥感多模态 RAG 检索阶段的威胁仍鲜有探讨。为填补这一空白，我们提出 CloudWeb，一种仅修改输入图像而保持检索器、生成器和知识库在部署时的固定性的大气检索劫持攻击。CloudWeb 在遥感图像上叠加可调参数的云层和雾霾样模式，并优化目标函数以拉近对抗图像嵌入与目标大气证据的距离、抑制源场景证据、强制排名分离，并对自然性和覆盖性进行正则化。据我们所知，这是首个针对遥感多模态 RAG 检索阶段的大气证据劫持研究。在七数据集遥感 RAG 基准测试上评估 CloudWeb，涵盖五个 CLIP 风格检索器，包括 GeoRSCLIP、RemoteCLIP、OpenAI CLIP 和 OpenCLIP，以及下游视觉语言生成器。CloudWeb 在所有检索器上均优于干净检索、手工制作的大气基线、随机云扰动和固定变体，在将气象证据注入顶级检索结果方面表现更佳。在 GeoRSCLIP ViT-B/32 上，Weather@5 从 0.71% 提升至 43.29%。下游生成进一步显示可测量的天气幻觉和语义偏移，表明检索阶段的劫持可传播至最终 RAG 响应。这些发现揭示了一种实际失效模式：自然外观的大气变化可在生成开始前损害证据检索。
引用
@article{arxiv.2605.07273,
title = {From Clouds to Hallucinations: Atmospheric Retrieval Hijacking in Remote Sensing Vision-Language RAG},
author = {Jiaju Han and Chao Li and Chengyin Hu and Qike Zhang and Xuemeng Sun and Xin Wang and Fengyu Zhang and Xiang Chen and Yiwei Wei and Jiahuan Long and Jiujiang Guo},
journal= {arXiv preprint arXiv:2605.07273},
year = {2026}
}