BLO-SAM：基于双层优化的 SAM 防过拟合微调
计算机视觉与模式识别
2024-03-12 v4
摘要
Segment Anything Model (SAM) 是一个在数百万图像和分割掩码上预训练的基础模型，显著推进了计算机视觉中的一项基本任务——语义分割。尽管具有优势，SAM 仍面临两大挑战。首先，它难以自主分割特定对象，因为它依赖用户手动输入点或边界框等提示来识别目标对象。其次，由于其预训练数据（主要由通用领域图像组成）与下游任务所用数据之间的分布差异，SAM 在特定下游任务（如医学成像）中难以表现出色。当前解决这些问题的方案涉及微调 SAM，但往往导致过拟合，这在数据非常有限的场景（如医学成像）中是一个显著问题。为了克服这些限制，我们引入了 BLO-SAM，它基于双层优化 (BLO) 对 SAM 进行微调。我们的方法通过优化可学习的提示嵌入，实现了无需手动提示的自动图像分割。此外，通过在两个不同优化层级上分别在训练数据集的两个子集上训练模型权重参数和提示嵌入，显著降低了过拟合风险。我们将 BLO-SAM 应用于通用领域和医学领域的多种语义分割任务。结果表明，BLO-SAM 的性能优于各种最先进的图像语义分割方法。
引用
@article{arxiv.2402.16338,
title = {BLO-SAM: Bi-level Optimization Based Overfitting-Preventing Finetuning of SAM},
author = {Li Zhang and Youwei Liang and Ruiyi Zhang and Amirhosein Javadi and Pengtao Xie},
journal= {arXiv preprint arXiv:2402.16338},
year = {2024}
}