SAM在医学图像上的研究：关于三种提示模式的综合评测

Segment Anything Model（SAM）近来引人瞩目地亮相，并激发许多研究者探索其在零样本泛化能力上的潜力与局限。作为首个用于分割任务的可提示基础模型，它在具有空前数量图像与标注的大规模数据集上训练。该大规模数据集及其可提示特性赋予模型强大的零样本泛化。尽管SAM已在多个数据集上展现竞争性能，我们仍希望考察其在医学图像上的零样本泛化。众所周知，医学图像标注的获取通常需专业从业者大量精力。因此，若存在一种仅基于少量点提示即可给出高质量掩码预测的基础模型，无疑将成为医学图像分析的变革者。为评估SAM是否有潜力成为医学图像分割任务的基础模型，我们收集了覆盖多种器官与模态的十余个公开医学图像数据集。我们也探索了何种提示能在不同模态下带来最佳零样本性能。此外，我们发现一种规律：边界框尺寸的扰动会显著改变预测精度。最后，大量实验表明预测掩码质量在不同数据集间差异很大，且向SAM提供如边界框等恰当提示将显著提升其性能。