针对 Segment Anything (SAM) 的黑盒定向对抗攻击
计算机视觉与模式识别
2024-02-29 v2
摘要
深度识别模型普遍易受对抗样本攻击，后者通过对图像输入添加近乎不可感知的扰动来改变模型输出。近来，Segment Anything Model（SAM）因其对未知数据与任务的惊人泛化能力，已成为计算机视觉中流行的基础模型。对 SAM 实现灵活攻击有助于理解其在对抗环境下的鲁棒性。为此，本工作旨在实现对 SAM 的定向对抗攻击（TAA）。具体而言，在某一提示下，目标是使对抗样本的预测掩码类似于给定目标图像的预测掩码。SAM 上的 TAA 任务已在近期一篇 arXiv 工作中于白盒设定下实现，其假设可访问提示与模型，因而实用性较低。为解决提示依赖问题，我们提出一种简单而有效的方法，仅攻击图像编码器。此外，我们提出一种新颖的正则化损失，通过增强对抗图像相对于随机自然图像的特征主导性来提升跨模型可迁移性。大量实验验证了我们所提简单技术对 SAM 成功实施黑盒 TAA 的有效性。
引用
@article{arxiv.2310.10010,
title = {Black-box Targeted Adversarial Attack on Segment Anything (SAM)},
author = {Sheng Zheng and Chaoning Zhang and Xinhong Hao},
journal= {arXiv preprint arXiv:2310.10010},
year = {2024}
}