SAM 遇上 UAP：利用通用对抗扰动攻击分割一切模型
计算机视觉与模式识别
2024-08-21 v2
摘要
随着 Segment Anything Model（SAM）成为计算机视觉中流行的基石模型，其对抗鲁棒性已成为不可忽视的关切。本工作研究是否可能以与图像无关的通用对抗扰动（UAP）攻击 SAM。换言之，我们寻求一种单一扰动，能够愚弄 SAM 对绝大多数（即便不是全部）图像预测无效掩码。我们证明传统的以图像为中心的攻击框架对图像无关攻击有效，但在通用对抗攻击上失效。为此，我们提出一种新颖的以扰动为中心的框架，其产生了一种基于自监督对比学习（CL）的 UAP 生成方法，其中 UAP 被设为锚样本，正样本由 UAP 增强得到。负样本表示由图像编码器预先获取并保存于记忆库中。我们提出的基于 CL 的 UAP 生成方法的有效性通过定量与定性结果得到验证。在理解所提方法各组成部分的消融研究之上，我们阐明了正负样本在使所生成 UAP 有效攻击 SAM 中的作用。
引用
@article{arxiv.2310.12431,
title = {SAM Meets UAP: Attacking Segment Anything Model With Universal Adversarial Perturbation},
author = {Dongshen Han and Chaoning Zhang and Sheng Zheng and Chang Lu and Yang Yang and Heng Tao Shen},
journal= {arXiv preprint arXiv:2310.12431},
year = {2024}
}