面向视觉语言模型的层次化通用多模态攻击
计算机视觉与模式识别
2026-02-18 v3 多媒体
摘要
现有针对 VLP 模型的对抗攻击大多为样本特定类型，随着大规模数据集或新情境的扩展，计算开销将显著增加。为克服这一限制，我们提出了层次化精炼攻击（Hierarchical Refinement Attack, HRA），这是一种面向 VLP 模型的多模态通用攻击框架。在图像模态下， 我们通过利用历史梯度及估计未来梯度的时间层次结构，以避免局部最小化并稳定通用扰动学习。 在文本模态下， 我们层次化建模文本重要性， 通过考虑单元内及单元间贡献，以识别具有全局影响力的词汇， 进而用作通用文本扰动。 extensive 实验覆盖多种下游任务、 VLP 模型及数据集， 证明了所提通用多模态攻击的优异迁移性能。
引用
@article{arxiv.2601.10313,
title = {Hierarchical Refinement of Universal Multimodal Attacks on Vision-Language Models},
author = {Peng-Fei Zhang and Zi Huang},
journal= {arXiv preprint arXiv:2601.10313},
year = {2026}
}
备注
10 pages, 7 figures