PA-Attack：基于原型与注意力引导的LVLM视觉编码器灰盒攻击
计算机视觉与模式识别
2026-02-24 v1
摘要
大型视觉语言模型（LVLMs）是现代多模态应用的基石，但其对对抗攻击的脆弱性仍是 critical concern。先前的白盒攻击很少在不同任务间泛化，黑盒方法依赖高成本的迁移，这限制了效率。视觉编码器标准化且常跨LVLMs共享，提供了一个稳定的灰盒枢轴，具有强大的跨模型迁移。基于此，我们引入PA-Attack（Prototype-Anchored Attentive Attack）。PA-Attack首先采用原型锚定引导，提供针对通用且不相似原型的稳定攻击方向，解决传统攻击的属性受限问题和有限任务泛化问题。随后，我们提出两阶段注意力增强机制：（i）利用token级注意力得分将扰动集中于关键视觉token，（ii）自适应重校准注意力权重以跟踪对抗过程中注意力的演变。广泛的实验在多样化下游任务和LVMM架构上表明，PA-Attack实现了75.1%的平均得分降低率（SRR），显示出强大的攻击效能、效率和任务泛化能力。代码已公开 https://github.com/hefeimei06/PA-Attack。
引用
@article{arxiv.2602.19418,
title = {PA-Attack: Guiding Gray-Box Attacks on LVLM Vision Encoders with Prototypes and Attention},
author = {Hefei Mei and Zirui Wang and Chang Xu and Jianyuan Guo and Minjing Dong},
journal= {arXiv preprint arXiv:2602.19418},
year = {2026}
}