SAM无法分割一切？——SAM-Adapter：将SAM适配于表现不佳的场景：伪装、阴影、医学图像分割等
计算机视觉与模式识别
2023-05-03 v3
摘要
大模型（亦称基础模型）的出现为AI研究带来了显著进展。其中一个此类模型是专为图像分割任务设计的Segment Anything（SAM）。然而，与其他基础模型一样，我们的实验发现表明，SAM在某些分割任务中可能失败或表现不佳，例如阴影检测与伪装目标检测（隐藏目标检测）。本研究首先为将大型预训练图像分割模型SAM应用于这些下游任务铺平了道路，即使在SAM表现糟糕的情况下亦然。我们未对SAM网络进行微调，而是提出了\textbf{SAM-Adapter}，通过简单而有效的适配器将领域特定信息或视觉提示融入分割网络。通过将任务特定知识与大模型习得的通用知识相结合，SAM-Adapter可显著提升SAM在挑战性任务中的性能，如大量实验所示。我们甚至可超越任务特定的网络模型，并在所测试任务（伪装目标检测、阴影检测）上取得state-of-the-art性能。我们还测试了息肉分割（医学图像分割）并取得更好结果。我们相信我们的工作为在下游任务中利用SAM开辟了机会，在包括医学图像处理、农业、遥感等诸多领域具有潜在应用。
引用
@article{arxiv.2304.09148,
title = {SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in Underperformed Scenes: Camouflage, Shadow, Medical Image Segmentation, and More},
author = {Tianrun Chen and Lanyun Zhu and Chaotao Ding and Runlong Cao and Yan Wang and Zejian Li and Lingyun Sun and Papa Mao and Ying Zang},
journal= {arXiv preprint arXiv:2304.09148},
year = {2023}
}