多模态系统中的对抗攻击：从业者综述

多模态模型的引入是人工智能领域的重大进步。单个模型被训练来理解多种模态：文本、图像、视频和音频。开源多模态模型使这些突破更加可及。然而，考虑到这些模态上存在广泛的对抗攻击，这些模型也继承了所有模态的脆弱性，最终，攻击的威胁被放大。尽管关于这些模态中或跨模态的可能攻击已有广泛研究，但从从业者视角概述攻击类型的工作在多模态领域仍存缺失。随着更多机器学习从业者采用、微调和在实际应用中部署开源模型，他们至关重要的是能够洞察威胁格局并采取必要的预防措施。本文通过调查针对所有四种模态（文本、图像、视频和音频）的对抗攻击来弥补这一空白。本综述提供了对对抗攻击威胁格局的视图，并展示了多模态对抗威胁的演变情况。鉴于目前尚无人对多模态世界进行全面总结，我们坚信本综述是首次对该威胁格局进行全面概述。