QAVA：针对大型视觉语言模型的查询无关视觉攻击
计算机视觉与模式识别
2025-04-16 v1 人工智能
摘要
在典型的多模态任务中，如视觉问答(VQA)，针对特定图像和问题的对抗攻击可能导致大型视觉语言模型(LVLMs)提供错误答案。然而，单张图像通常关联多个问题，LVLMs即使针对特定问题进行对抗攻击，也可能对其他问题保持正确。为此，我们引入查询无关视觉攻击(QAVA)，旨在创建能对未指定且未知问题生成错误响应的鲁棒对抗样本。与针对特定图像和问题的传统对抗攻击相比，QAVA显著提高了对图像攻击的有效性和效率，即使问题未知，性能也可与针对已知目标问题的攻击相当。我们的研究拓宽了LVLMs视觉对抗攻击的范围，尤其是在视觉对抗威胁语境下，揭示了此前被忽视的漏洞。代码已公开于 https://github.com/btzyd/qava。
引用
@article{arxiv.2504.11038,
title = {QAVA: Query-Agnostic Visual Attack to Large Vision-Language Models},
author = {Yudong Zhang and Ruobing Xie and Jiansheng Chen and Xingwu Sun and Zhanhui Kang and Yu Wang},
journal= {arXiv preprint arXiv:2504.11038},
year = {2025}
}
备注
Accepted by NAACL 2025 main