通过局部混洗与样本攻击提升视觉语言预训练模型中的对抗性迁移性
计算机视觉与模式识别
2025-11-04 v1 人工智能
摘要
视觉语言预训练 (VLP) 模型在 various downstream tasks 上取得了显著的性能，但仍对对抗性示例十分脆弱。虽然先前的努力通过跨模态交互来提高多模态对抗性示例的迁移性，但这些方法由于过度依赖单一模态中对抗性示例的信息，在另一模态中构建攻击时缺乏输入多样性，导致过拟合问题。为此，我们借鉴一些对抗训练方法中的策略，提出了一种新型攻击方法，称为局部混洗与样本攻击 (LSSA)。LSSA 随机混洗一个局部图像块，从而扩充原始图像-文本对，生成对抗图像并对其进行采样，然后利用原始图像和采样图像生成对抗文本。在多个模型和数据集上进行的大量实验表明，LSSA 显著提升了跨不同 VLP 模型和下游任务的多模态对抗性示例迁移性。此外，LSSA 在大型视觉语言模型上 outperform 了其他高级攻击方法。
引用
@article{arxiv.2511.00831,
title = {Enhancing Adversarial Transferability in Visual-Language Pre-training Models via Local Shuffle and Sample-based Attack},
author = {Xin Liu and Aoyang Zhou and Aoyang Zhou},
journal= {arXiv preprint arXiv:2511.00831},
year = {2025}
}
备注
Accepted by NAACL2025 findings