当表面说谎：利用皱纹诱导的注意力偏移攻击视觉语言模型
计算机视觉与模式识别
2026-04-20 v3
摘要
视觉语言模型（VLMs）在各种任务中展现了卓越的跨模态理解能力，包括零样本分类、图像描述生成和视觉问答。然而，它们对物理上合理的非刚性形变——如柔性表面上的皱纹——的鲁棒性仍未被充分理解。在本工作中，我们提出了一种受三维织物皱纹力学启发的参数化结构扰动方法。具体而言，我们的方法通过构建多尺度皱纹场，并将位移场畸变与表面一致的表观变化相结合，生成逼真的非刚性扰动。为了在视觉自然性与对抗有效性之间取得最优平衡，我们在低维参数空间中设计了分层适应度函数，并采用基于优化的搜索策略。我们通过两阶段框架评估所提方法：扰动首先在零样本分类代理任务上优化，随后在生成任务上评估其迁移性。实验结果表明，我们的方法显著降低了各种最先进VLMs的性能，在图像描述生成和视觉问答任务上均持续优于基线。
引用
@article{arxiv.2603.27759,
title = {When Surfaces Lie: Exploiting Wrinkle-Induced Attention Shift to Attack Vision-Language Models},
author = {Chengyin Hu and Xuemeng Sun and Jiaju Han and Qike Zhang and Xiang Chen and Xin Wang and Yiwei Wei and Jiahua Long},
journal= {arXiv preprint arXiv:2603.27759},
year = {2026}
}