挑战视觉语言模型的 Physically 可部署的多模态语义灯光攻击
计算机视觉与模式识别
2026-04-15 v1
摘要
视觉语言模型（VLMs）取得了显著的性能，但其安全性仍未得到充分了解。现有的对抗研究几乎全部聚焦于数字环境，留下了物理世界威胁 largely 未探索。随着VLMs日益部署在真实环境中，这一差距变得至关重要，因为对抗扰动必须是物理可实现的。尽管具有实际的相关性，针对VLMs的物理攻击仍缺乏系统性研究。这些攻击可能导致识别失败，并进一步干扰多模态推理，导致下游任务出现严重的语义误解。因此，调查VLMs上的物理攻击对于评估其实际安全风险至关重要。为此，我们提出了多模态语义灯光攻击（MSLA），VLMs的第一个物理可部署对抗攻击框架。MSLA利用可控的对抗性灯光，在真实场景中扰乱多模态语义理解，攻击语义对齐而非仅针对特定任务的输出。因此，它会降低主流CLIP变体的零样本分类性能，同时在高级VLMs如LLaVA和BLIP中引发严重的语义幻觉，涉及图像描述和视觉问答（VQA）。在数字和物理域的广泛实验表明，MSLA有效、可迁移且实际可实现。我们的发现首次证明VLMs对物理可部署的语义攻击极其脆弱，暴露了前所未有的鲁棒性差距，凸显了对VLMs进行物理世界鲁棒性评估的紧迫需求。
引用
@article{arxiv.2604.12833,
title = {Challenging Vision-Language Models with Physically Deployable Multimodal Semantic Lighting Attacks},
author = {Yingying Zhao and Chengyin Hu and Qike Zhang and Xin Li and Xin Wang and Yiwei Wei and Jiujiang Guo and Jiahuan Long and Tingsong Jiang and Wen Yao},
journal= {arXiv preprint arXiv:2604.12833},
year = {2026}
}