集成互补网络的 SAM 阶梯式微调方法
计算机视觉与模式识别
2023-06-23 v1
摘要
近来,基础模型被引入并在计算机视觉领域展示了多种任务能力。诸如 Segment Anything Model (SAM) 这类模型是使用海量数据集训练的通用模型。当前,持续的研究聚焦于探索将这些通用模型有效用于特定领域,如医学影像。然而在医学影像中,出于隐私顾虑等因素导致的训练样本匮乏,是将这些通用模型应用于医学图像分割任务的主要挑战。为解决此问题,对这些模型的有效微调至关重要,以确保其最优利用。在本研究中,我们提出将互补的卷积神经网络(CNN)与标准 SAM 网络结合用于医学图像分割。为减轻微调大型基础模型的负担并实现高性价比训练方案,我们仅聚焦于微调额外的 CNN 网络与 SAM 解码器部分。该策略显著减少了训练时间,并在公开可用数据集上取得了有竞争力的结果。代码见 https://github.com/11yxk/SAM-LST。
引用
@article{arxiv.2306.12737,
title = {Ladder Fine-tuning approach for SAM integrating complementary network},
author = {Shurong Chai and Rahul Kumar Jain and Shiyu Teng and Jiaqing Liu and Yinhao Li and Tomoko Tateyama and Yen-wei Chen},
journal= {arXiv preprint arXiv:2306.12737},
year = {2023}
}