VQAttack：基于预训练模型的视觉问答可迁移对抗攻击
计算机视觉与模式识别
2024-02-20 v1
摘要
视觉问答（VQA）是计算机视觉和自然语言处理领域的一项基础任务。尽管“预训练与微调”学习范式显著提升了VQA的性能，但此类学习范式的对抗鲁棒性尚未被探索。在本文中，我们深入探讨了一个新问题：使用预训练多模态源模型生成对抗性图文对，随后将其迁移以攻击目标VQA模型。相应地，我们提出了一种新颖的VQAttack模型，该模型能够通过所设计的模块迭代生成图像和文本扰动：大语言模型（LLM）增强的图像攻击模块和跨模态联合攻击模块。在每次迭代中，LLM增强的图像攻击模块首先优化基于潜在表示的损失，以生成特征级图像扰动。然后，它结合LLM通过优化所设计的掩码答案反恢复损失来进一步增强图像扰动。跨模态联合攻击模块将在特定迭代中被触发，依次更新图像和文本扰动。值得注意的是，文本扰动的更新既基于词嵌入空间中学习到的梯度，也基于词同义词替换。在两个VQA数据集上使用五个已验证模型的实验结果表明，与最先进的基线相比，所提出的VQAttack在可迁移攻击设置下具有有效性。这项工作揭示了VQA任务上“预训练与微调”范式中的一个显著盲点。源代码将被发布。
引用
@article{arxiv.2402.11083,
title = {VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models},
author = {Ziyi Yin and Muchao Ye and Tianrong Zhang and Jiaqi Wang and Han Liu and Jinghui Chen and Ting Wang and Fenglong Ma},
journal= {arXiv preprint arXiv:2402.11083},
year = {2024}
}
备注
AAAI 2024, 11 pages