针对视觉-语言预训练模型的两阶段全局多样化对抗攻击
计算机视觉与模式识别
2026-01-21 v1 人工智能
摘要
视觉-语言预训练（VLP）模型容易受到对抗样本的攻击，尤其是在黑盒场景下。现有的多模态攻击通常面临扰动多样性有限和多阶段流程不稳定的问题。为了解决这些挑战，我们提出了2S-GDA，一个两阶段全局多样化攻击框架。该方法首先通过一种全局多样化策略引入文本扰动，该策略结合了候选文本扩展和全局感知替换。为了增强视觉多样性，使用多尺度缩放和块洗牌旋转生成图像级扰动。在VLP模型上的大量实验表明，2S-GDA在黑盒设置下，攻击成功率比最先进的方法持续提高了高达11.17%。我们的框架是模块化的，可以轻松地与现有方法结合，以进一步增强对抗迁移性。
引用
@article{arxiv.2601.12304,
title = {A Two-Stage Globally-Diverse Adversarial Attack for Vision-Language Pre-training Models},
author = {Wutao Chen and Huaqin Zou and Chen Wan and Lifeng Huang},
journal= {arXiv preprint arXiv:2601.12304},
year = {2026}
}
备注
Accepted to ICASSP 2026