IAG：面向视觉 grounding 的输入感知后门攻击

近期视觉语言模型（VLM）的进展显著提升了视觉 grounding 任务的性能，该任务涉及根据自然语言查询在图像中定位对象。尽管已取得这些进展，但 VLM 基于 grounding 系统的安全性尚未得到充分调查。本文揭示了一种新型且切实可行的漏洞：首个针对 VLM 基于视觉 grounding 的多目标后门攻击。不同于依赖静态触发器或固定目标的先前攻击，我们提出 IAG 方法，通过文本条件 UNet 动态生成输入感知、以文本为导向的触发器，条件化任何指定目标对象描述以执行攻击。该方法在保持良好 grounding 系统对 benign 样本的正常性能的同时，将不可察觉的目标语义线索嵌入视觉输入。我们进一步开发联合训练目标，在语言能力与感知重建之间实现平衡，以确保不可察觉性、有效性和隐蔽性。在多个 VLM（如 LLaVA、InternVL、Ferret）和基准数据集（RefCOCO、RefCOCO+、RefCOCOg、Flickr30k Entities 和 ShowUI）上的大量实验表明，IAG 在几乎所有设置下相较于其他基线实现最佳 ASR，且不牺牲干净准确率，抗性强于现有防御措施，并在数据集和模型之间 exhibits 迁移性。这些发现凸显了具备 grounding 能力的 VLM 存在关键安全风险，凸显了进一步研究可信 multimodal 理解的必要性。