多模态大语言模型对抗鲁棐性调查
计算机视觉与模式识别
2025-03-19 v1
摘要
多模态大语言模型（MLLMs）通过促进对文本、图像、视频、音频和语音等多种模态的集成理解，已在人工智能领域展现出卓越的性能。然而，其在实际应用中的部署引发了关于对抗脆弱性的重大担忧，这可能损害其安全性和可靠性。与单模态模型不同，MLLMs 面临由于模态之间的相互依赖性而产生的独特挑战，使其易受特定模态的威胁以及跨模态对抗操纵的影响。本文综述了 MLLMs 的对抗鲁棐性，涵盖不同模态。我们首先概述了 MLLMs 及其针对每个模态的对抗攻击分类。随后，我们回顾了用于评估 MLLMs 鲁棐性的关键数据集和评估指标。随后，我们提供对针对不同模态的 MLLMs 攻击的深入综述。我们的调查还识别了关键挑战，并提出了有前景的未来研究方向。
引用
@article{arxiv.2503.13962,
title = {Survey of Adversarial Robustness in Multimodal Large Language Models},
author = {Chengze Jiang and Zhuangzhuang Wang and Minjing Dong and Jie Gui},
journal= {arXiv preprint arXiv:2503.13962},
year = {2025}
}
备注
9 pages