如何高效地将大型分割模型（SAM）适配到医学图像
计算机视觉与模式识别
2023-06-27 v1
摘要
新兴的大规模分割模型 Segment Anything（SAM）在自然图像的零样本分割中展现出令人印象深刻的性能。然而，当应用于医学图像时，SAM 出现明显的性能下降。为使 SAM 成为计算机视觉界的真正“基础模型”，找到一种为医学图像数据集定制 SAM 的高效方法至关重要。本工作中，我们提出冻结 SAM 编码器并微调轻量级任务特定预测头，因为 SAM 中大部分权重由编码器贡献。此外，SAM 是一个可提示模型，而提示并非在所有应用情形中都可用，且用于多类分割的精确提示也耗时。因此，我们在本工作中探索了三类无提示预测头，包括 ViT、CNN 与线性层。对于 ViT 头，我们移除了 SAM 掩码解码器中的提示 token，称之为 AutoSAM。修改后的 AutoSAM 也可通过单次推理为不同类别生成掩码。为评估我们微调方法的标签效率，我们在一个标注数据有限的公开医学图像分割数据集上比较了这三种预测头的结果。实验表明，微调 SAM 显著提升了其在医学图像数据集上的性能，即便仅有一卷标注数据。此外，在标注短缺时，AutoSAM 与 CNN 预测头也比从头训练和自监督学习方法具有更好的分割精度。
引用
@article{arxiv.2306.13731,
title = {How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images},
author = {Xinrong Hu and Xiaowei Xu and Yiyu Shi},
journal= {arXiv preprint arXiv:2306.13731},
year = {2023}
}