Robust SAM：关于视觉基础模型的对抗鲁棒性研究
计算机视觉与模式识别
2025-04-15 v1 人工智能
摘要
Segment Anything Model（SAM）是一种被广泛使用的视觉基础模型，具有图像分割、检测与跟踪等多种应用。鉴于 SAM 的广泛应用，理解其针对对抗攻击的鲁棒性对于实际部署至关重要。然而，针对 SAM 鲁棒性的研究仍处于早期阶段。现有攻击在评估 SAM 鲁棒性时往往忽略了提示（prompt）的作用，且对兼顾鲁棒性与准确性的防御方法探索不足。为弥补这些不足，本文提出了一个用于评估并提升 SAM 鲁棒性的对抗鲁棒性框架。具体而言，我们提出了一种跨提示攻击方法，以增强针对不同提示类型的攻击可迁移性。除攻击外，我们还提出了一种少参数自适应策略，以防御 SAM 抵御多种对抗攻击。为平衡鲁棒性与准确性，我们采用奇异值分解（SVD）来约束可训练参数的空间，其中仅奇异值是可调的。实验表明，我们的跨提示攻击方法在 SAM 与 SAM 2 上的攻击成功率均优于先前方法。通过仅自适应 512 个参数，我们在针对多种对抗攻击时实现了至少 15% 的平均交并比（mIoU）提升。与先前防御方法相比，我们的方法在最大程度保持 SAM 原有性能的同时提升了其鲁棒性。
引用
@article{arxiv.2504.08906,
title = {Robust SAM: On the Adversarial Robustness of Vision Foundation Models},
author = {Jiahuan Long and Zhengqin Xu and Tingsong Jiang and Wen Yao and Shuai Jia and Chao Ma and Xiaoqian Chen},
journal= {arXiv preprint arXiv:2504.08906},
year = {2025}
}
备注
Accepted by AAAI2025