SAM-MPA: 基于掩码传递和自动提示的少样本医学图像分割
计算机视觉与模式识别
2024-11-27 v1
摘要
医学图像分割常面临 annotation 成本高昂的挑战。虽然少样本学习提供了缓解这一负担的有前景途径，但传统方法仍严重依赖于来自已知类别的大量标记数据的预训练。在此基础上，我们提出利用Segment Anything Model(SAM)进行方法，这一模型预训练了超过10亿个掩码，从而规避了对大量特定领域标注数据的需求。基于此，我们开发了SAM-MPA，这是一个创新的基于SAM的框架，用于使用掩码传递和自动提示进行少样本医学图像分割。首先，我们采用k中心聚类来选择最具代表性的示例进行标注，以构建support set。将这些标注示例注册到其他图像中，生成变形场以便在数据集中传播掩码知识以获得粗糙掩码。随后，我们基于粗糙掩码的区域和边界扩展自动生成视觉提示，包括点、框和粗糙掩码。最后，我们将这些提示输入SAM以获得分割预测，并通过后处理模块对结果进行细化。我们通过在两个具有不同模态的医学图像数据集上进行大量实验来验证所提出框架的性能。该方法在乳腺超声和胸部X光上的Dice系数分别达到74.53%和94.36%。实验结果表明，SAM-MPA能在仅用10个标注示例的情况下实现高精度分割，优于其他最先进的少样本自动分割方法。该方法使SAM能够针对任何医学图像数据集进行定制化，只需少量标注示例即可。
引用
@article{arxiv.2411.17363,
title = {SAM-MPA: Applying SAM to Few-shot Medical Image Segmentation using Mask Propagation and Auto-prompting},
author = {Jie Xu and Xiaokang Li and Chengyu Yue and Yuanyuan Wang and Yi Guo},
journal= {arXiv preprint arXiv:2411.17363},
year = {2024}
}
备注
Accepted as an oral presentation at NeurIPS 2024 AIM-FM Workshop