GaRA-SAM：通过门控秩适应增强Segment Anything Model的鲁棒性
计算机视觉与模式识别
2025-06-06 v2
摘要
提高Segment Anything Model（SAM）对输入退化的鲁棒性对其在自动驾驶和机器人等高风险应用中的部署至关重要。我们应对这一挑战的方法优先考虑三个关键方面：第一，参数效率以保持SAM固有的泛化能力；第二，细粒度和输入感知的鲁棒化以精确应对输入损坏；第三，遵循标准训练协议以简化训练。为此，我们提出了门控秩适应（GaRA）。GaRA在冻结的SAM中间层引入轻量级适配器，其中每个适配器通过使用学习到的门控模块选择性地激活矩阵的（秩-1）组件，根据输入动态调整其权重矩阵的有效秩。这种调整使得在不损害SAM泛化能力的情况下实现细粒度和输入感知的鲁棒化。我们的模型GaRA-SAM在所有鲁棒分割基准测试上显著优于先前工作。特别是在ACDC这一具有挑战性的真实损坏图像数据集上，它超越了先前最佳IoU分数高达21.3个百分点。
引用
@article{arxiv.2506.02882,
title = {GaRA-SAM: Robustifying Segment Anything Model with Gated-Rank Adaptation},
author = {Sohyun Lee and Yeho Gwon and Lukas Hoyer and Suha Kwak},
journal= {arXiv preprint arXiv:2506.02882},
year = {2025}
}