大型多模态模型抵御图像对抗攻击的鲁棒性研究
计算机视觉与模式识别
2023-12-11 v2
摘要
指令微调的最新进展推动了SOTA大型多模态模型的发展。鉴于这些模型的新颖性，视觉对抗攻击对LMM的影响尚未得到彻底检验。我们对各种LMM抵御不同对抗攻击的鲁棒性进行了全面研究，并在图像分类、图像描述和视觉问答等任务上进行了评估。我们发现，总体而言，LMM对视觉对抗输入不具备鲁棒性。然而，我们的研究结果表明，通过提示提供给模型的上下文（如QA对中的问题）有助于减轻视觉对抗输入的影响。值得注意的是，在ScienceQA任务中，受评估的LMM对此类攻击表现出显著的韧性，性能仅下降了8.10%，而其视觉对应模型的性能下降了99.73%。我们还提出了一种新的真实世界图像分类方法，称为查询分解。通过将存在性查询纳入输入提示，我们观察到攻击有效性降低，图像分类准确性得到提高。本研究突出了LMM鲁棒性一个此前未被充分探索的方面，为未来旨在增强多模态系统在对抗环境中韧性的工作奠定了基础。
引用
@article{arxiv.2312.03777,
title = {On the Robustness of Large Multimodal Models Against Image Adversarial Attacks},
author = {Xuanming Cui and Alejandro Aparcedo and Young Kyun Jang and Ser-Nam Lim},
journal= {arXiv preprint arXiv:2312.03777},
year = {2023}
}