多模态模型中稀疏与连续对抗像素扰动：实证分析
计算机视觉与模式识别
2024-07-26 v1 密码学与安全
机器学习
摘要
评估多模态模型对对抗样本的鲁棒性是用户安全的重要方面。我们对预处理后的输入图像进行 L0 范数扰动攻击。在黑箱设置下，我们针对四个多模态模型和两个单模态 DNN，考虑有针对性和无针对性的误分类。我们的攻击目标小于 0.04% 的扰动图像面积，并整合不同空间位置的扰动像素：稀疏定位和像素排列成不同连续形状（行、列、对角线和块）。据我们所知，我们是首次评估了三种最先进的多模态模型（ALIGN、AltCLIP、GroupViT）针对不同稀疏和连续像素分布扰动的鲁棒性。获得的结果表明，单模态 DNN 比多模态模型更鲁棒。此外，使用 CNN 基 Image Encoder 的模型比使用 ViT 的模型更易受攻击；对于无针对性攻击，我们通过扰动小于 0.02% 的图像面积实现了 99% 的成功率。
引用
@article{arxiv.2407.18251,
title = {Sparse vs Contiguous Adversarial Pixel Perturbations in Multimodal Models: An Empirical Analysis},
author = {Cristian-Alexandru Botocan and Raphael Meier and Ljiljana Dolamic},
journal= {arXiv preprint arXiv:2407.18251},
year = {2024}
}