SAM的鲁棒性：在各类 corruptions 及更多场景下的任意分割
摘要
分割任意模型（SAM），顾名思义，声称能够切分出任意对象，并在提示引导下展现出令人印象深刻的零样本迁移性能。然而，目前缺乏关于其在各种 corruptions 下鲁棒性的全面评估。理解 SAM 在不同 corruption 场景下的鲁棒性对于其现实部署至关重要。先前的工作表明 SAM 偏向于纹理（风格）而非形状，受此启发，我们首先研究其针对风格迁移（一种合成 corruption）的鲁棒性。通过将合成 corruption 的影响解释为风格变化，我们进而对其在 15 种常见 corruption 下的鲁棒性进行全面评估。这些 corruptions 主要归属于数字、噪声、天气和模糊等类别，并且在每个 corruption 类别中，我们探索了 5 个严重级别以模拟现实世界的 corruption 场景。除 corruptions 外，我们进一步评估了 SAM 针对局部遮挡和局部对抗补丁攻击的鲁棒性。据我们所知，我们的工作是首个评估 SAM 在风格变化、局部遮挡和局部对抗补丁攻击下鲁棒性的工作。鉴于人眼可见的补丁攻击易于检测，我们进一步评估了其针对人眼无法察觉的全局对抗攻击的鲁棒性。总体而言，本工作提供了对 SAM 鲁棒性的全面实证研究，评估了其在各种 corruptions 下的性能，并将评估扩展到局部遮挡、局部对抗补丁攻击和全局对抗攻击等关键方面。这些评估为 SAM 在应对现实世界挑战中的实际适用性和有效性提供了宝贵的见解。
引用
@article{arxiv.2306.07713,
title = {Robustness of SAM: Segment Anything Under Corruptions and Beyond},
author = {Yu Qiao and Chaoning Zhang and Taegoo Kang and Donghun Kim and Chenshuang Zhang and Choong Seon Hong},
journal= {arXiv preprint arXiv:2306.07713},
year = {2023}
}
备注
The first work evaluates the robustness of SAM under various corruptions such as style transfer, local occlusion, and adversarial patch attack