关于 Segment Anything 的鲁棒性研究
计算机视觉与模式识别
2023-05-26 v1
摘要
Segment Anything 模型（SAM）借助提示学习思想与新收集的大规模数据集，展现出令人印象深刻的物体性识别能力。给定提示（如点、边界框或掩码）与输入图像，SAM 能够为提示所指的所有物体生成有效分割掩码，在多样场景下具有高度泛化性，并可作为向下游视觉任务进行零样本迁移的通用方法。然而，SAM 是否会在某些威胁性场景中引入错误仍不明确。厘清这一点对于自动驾驶等需要鲁棒性的应用具有重要意义。本文旨在研究 SAM 在对抗场景与常见 corruptions（图像退化）下的测试时鲁棒性。为此，我们首先通过整合现有公开数据集，构建了 SAM 的测试时鲁棒性评测基准。其次，我们扩展了对 SAM 的代表性对抗攻击，并研究了不同提示对鲁棒性的影响。第三，我们通过在带不同提示的退化数据集上评测 SAM，研究了其在多种退化类型下的鲁棒性。在 SA-1B 与 KITTI 数据集上的实验表明，SAM 对各类退化表现出显著鲁棒性，但与模糊相关的退化除外。此外，SAM 仍易受对抗攻击影响，尤其是在遭受 PGD 与 BIM 攻击时。我们认为此项全面研究可凸显 SAM 鲁棒性问题的重要性，并引发一系列面向 SAM 及下游视觉任务的新课题。
引用
@article{arxiv.2305.16220,
title = {On the Robustness of Segment Anything},
author = {Yihao Huang and Yue Cao and Tianlin Li and Felix Juefei-Xu and Di Lin and Ivor W. Tsang and Yang Liu and Qing Guo},
journal= {arXiv preprint arXiv:2305.16220},
year = {2023}
}
备注
22 pages