SAM2-Adapter：评估与适配下游任务中的 Segment Anything 2：伪装、阴影、医学图像分割等
计算机视觉与模式识别
2024-08-13 v2
摘要
大型模型（也称基础模型）的出现极大地改变了人工智能研究的格局，其中 Segment Anything (SAM) 等模型在多种图像分割场景中取得了显著成功。尽管取得了进展，SAM 在处理一些复杂的低级分割任务（如伪装物体和医学成像）时仍遇到限制。为此，我们在 2023 年推出了 SAM-Adapter，它在这些具有挑战性的任务上展示了改进的性能。现在，随着 Segment Anything 2 (SAM2) 的发布——一个具有增强架构和更大训练语料库的继任者——我们重新评估了这些挑战。本文介绍了 SAM2-Adapter，这是首个旨在克服 SAM2 中观察到的持续局限性，并在特定下游任务（包括医学图像分割、伪装（隐蔽）物体检测和阴影检测）中取得新的最先进 (SOTA) 结果的适配器。SAM2-Adapter 建立在 SAM-Adapter 的优势之上，为多样化应用提供了增强的泛化性和可组合性。我们展示了广泛的实验结果，证明了 SAM2-Adapter 的有效性。我们展示了其潜力，并鼓励研究社区利用 SAM2 模型和我们的 SAM2-Adapter 来实现卓越的分割结果。代码、预训练模型和数据处理协议可在 http://tianrun-chen.github.io/SAM-Adaptor/ 获取。
引用
@article{arxiv.2408.04579,
title = {SAM2-Adapter: Evaluating & Adapting Segment Anything 2 in Downstream Tasks: Camouflage, Shadow, Medical Image Segmentation, and More},
author = {Tianrun Chen and Ankang Lu and Lanyun Zhu and Chaotao Ding and Chunan Yu and Deyi Ji and Zejian Li and Lingyun Sun and Papa Mao and Ying Zang},
journal= {arXiv preprint arXiv:2408.04579},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2304.09148