通过沿对抗轨迹交集区域多样化提升视觉-语言攻击的可迁移性
计算机视觉与模式识别
2024-07-16 v3
摘要
视觉-语言预训练（VLP）模型在理解图像和文本方面展现出卓越的能力，但它们仍然容易受到多模态对抗样本（AEs）的攻击。加强攻击并揭示漏洞，特别是VLP模型中的常见问题（例如，高可迁移性的AEs），可以推动可靠且实用的VLP模型发展。最近的一项工作（即集合级引导攻击）表明，沿优化路径增加图像-文本对的多样性以增强对抗样本的多样性，能显著提升对抗样本的可迁移性。然而，这种方法主要强调在线对抗样本（即优化期间的AEs）周围的多样性，导致存在过拟合受害模型的风险，并影响可迁移性。在本研究中，我们假定，对抗样本朝向干净输入和在线AEs的多样性对于提升跨VLP模型的可迁移性都至关重要。因此，我们提出利用沿对抗轨迹交集区域的多样化来扩展AEs的多样性。为了充分利用模态间的交互，我们在优化过程中引入了文本引导的对抗样本选择。此外，为了进一步减轻潜在的过拟合，我们引导对抗文本沿优化路径偏离最后一个交集区域，而非像现有方法那样处理对抗图像。大量实验证实了我们的方法在提升跨各种VLP模型及下游视觉-语言任务的可迁移性方面的有效性。
引用
@article{arxiv.2403.12445,
title = {Boosting Transferability in Vision-Language Attacks via Diversification along the Intersection Region of Adversarial Trajectory},
author = {Sensen Gao and Xiaojun Jia and Xuhong Ren and Ivor Tsang and Qing Guo},
journal= {arXiv preprint arXiv:2403.12445},
year = {2024}
}
备注
ECCV2024. Code is available at https://github.com/SensenGao/VLPTransferAttack