面向视觉语言预训练模型的高效通用对抗攻击
计算机视觉与模式识别
2024-10-17 v2
摘要
视觉语言预训练 (VLP) 模型是在大规模图像-文本对上训练，已广泛应用于各种下游视觉与语言 (V+L) 任务。这种广泛采用引发对其对抗攻击脆弱性的担忧。非通用对抗攻击虽然有效，但因对每个数据实例的高计算需求，往往难以用于实时在线应用。最近，通用对抗扰动 (UAP) 被引入作为解决方案，但现有基于生成器的 UAP 方法计算耗时显著。为克服这一限制，我们提出一种基于直接优化的 UAP 方法，称为 DO-UAP，显著降低资源消耗，同时保持高攻击性能。具体而言，我们探讨了多模态损失设计的必要性，并引入了有用的数据增强策略。在三个基准 VLP 数据集、六个流行 VLP 模型以及三个经典下游任务上进行的大量实验表明，DO-UAP 的效率与有效性。具体而言，我们的方法将时间消耗降低了 23 倍，同时实现了更好的攻击性能。
引用
@article{arxiv.2410.11639,
title = {Efficient and Effective Universal Adversarial Attack against Vision-Language Pre-training Models},
author = {Fan Yang and Yihao Huang and Kailong Wang and Ling Shi and Geguang Pu and Yang Liu and Haoyu Wang},
journal= {arXiv preprint arXiv:2410.11639},
year = {2024}
}
备注
11 pages