大型视觉语言模型的物理提示注入攻击
计算机视觉与模式识别
2026-01-27 v1 人工智能
摘要
大型视觉语言模型（LVLMs）正在被部署到现实智能系统中，用于在开放的物理环境中进行感知和推理。尽管已知LVLMs容易受到提示注入攻击，但现有方法要么需要访问输入通道，要么依赖对用户查询的了解，这在实际部署中很少成立。我们提出了首个物理提示注入攻击（PPIA），这是一种黑箱、查询无关的攻击，通过将恶意排版指令嵌入到LVLMs能感知的物理对象中来实现。PPIA无需访问模型、其输入或内部管道，仅通过视觉观察即可运行。它结合了离线选择高度可识别且在语义上有效的视觉提示，以及由时空注意力引导的环境感知布局，确保注入的提示在感知上可行且对模型行为具有影响。我们在10个最先进的LVLMs上进行了评估，既有模拟环境，也有真实环境，涉及视觉问答、规划和导航等任务，PPIA的攻击成功率可达98%，在各种物理条件（如距离、视角和照明）下具有强大的鲁棒性。我们的代码已公开available at https://github.com/2023cghacker/Physical-Prompt-Injection-Attack。
引用
@article{arxiv.2601.17383,
title = {Physical Prompt Injection Attacks on Large Vision-Language Models},
author = {Chen Ling and Kai Hu and Hangcheng Liu and Xingshuo Han and Tianwei Zhang and Changhai Ou},
journal= {arXiv preprint arXiv:2601.17383},
year = {2026}
}