SU-SAM：一种用于在欠佳场景中适配分割一切模型的简单统一框架
计算机视觉与模式识别
2024-07-30 v2
摘要
分割一切模型（SAM）在常见视觉场景中展现出卓越的泛化能力，但在理解专业数据方面能力不足。近期，一些方法将参数高效技术与特定任务设计相结合，以在特定任务上微调SAM。然而，这些方法严重依赖手工、复杂且特定任务的设计以及预处理/后处理，才能在下游任务上获得可接受的性能。因此，这严重限制了对其他下游任务的泛化能力。为解决此问题，我们提出了一个简单统一的框架，即SU-SAM，它可以使用参数高效技术轻松高效地微调SAM模型，同时保持对各种下游任务的出色泛化能力。SU-SAM不需要任何特定任务的设计，旨在显著提高类SAM模型在欠佳场景中的适应性。具体来说，我们将不同方法的参数高效模块抽象为框架中的基本设计元素。此外，我们提出了SU-SAM的四种变体，即串行、并行、混合和LoRA结构。我们在九个数据集和六个下游任务上进行了全面实验，以验证SU-SAM的有效性，包括医学图像分割、伪装目标检测、显著目标分割、表面缺陷分割、复杂目标形状和阴影掩码。我们的实验结果表明，与最先进的方法相比，SU-SAM达到了具有竞争力或更优的精度。此外，我们提供了深入分析，强调了SU-SAM中不同参数高效设计的有效性。另外，我们提出了一个通用模型和基准，展示了SU-SAM在所有不同数据集上的同时泛化能力。
引用
@article{arxiv.2401.17803,
title = {SU-SAM: A Simple Unified Framework for Adapting Segment Anything Model in Underperformed Scenes},
author = {Yiran Song and Qianyu Zhou and Xuequan Lu and Zhiwen Shao and Lizhuang Ma},
journal= {arXiv preprint arXiv:2401.17803},
year = {2024}
}