多模态模型的攻击

当今，能够在聊天格式中同时处理多种模态的模型正越来越受欢迎。尽管如此，这些模型可能面临潜在攻击的问题尤为突出，特别是考虑到许多模型包含开源组件。研究这些组件的漏洞是否被继承，以及在行业中使用时这会带来多大危险，仍然重要。本工作致力于研究此类模型的各种攻击类型并评估其泛化能力。现代视觉语言模型（如 LLaVA、BLIP 等）常常使用来自其他模型的预训练组件，因此本研究的主要部分聚焦于此，其中尤其是针对 CLIP 架构及其图像编码器（CLIP-ViT）以及各种补丁攻击变体。