提示策略对 Segment Anything Model (SAM) 在短轴心脏 MRI 分割中的影响
计算机视觉与模式识别
2023-12-15 v1
摘要
Segment Anything Model (SAM) 最近作为基础模型的一项重大突破而出现，在目标分割任务中展现出卓越的零样本性能。尽管 SAM 旨在实现泛化，但在处理需要精细结构分割或精确边界的特定医学成像任务时，它表现出局限性。在本文中，我们聚焦于使用 SAM 基础模型进行心脏磁共振成像 (cMRI) 短轴视图分割的任务。我们全面研究了不同提示策略（包括边界框、正点、负点及其组合）对分割性能的影响。我们在两个公开数据集上使用基线模型以及使用不同数量标注数据（从有限数量的数据卷到完全标注的数据集）微调的模型进行了评估。我们的研究结果表明，提示策略显著影响分割性能。将正点与边界框或负点组合显示出显著的收益，但同时组合三者则几乎没有收益。我们进一步观察到，使用少量标注数据卷微调 SAM 在给予适当提示时可以提升分割性能。具体而言，使用边界框进行微调具有积极影响，而不使用边界框进行微调则导致比基线更差的结果。
引用
@article{arxiv.2312.08932,
title = {Influence of Prompting Strategies on Segment Anything Model (SAM) for Short-axis Cardiac MRI segmentation},
author = {Josh Stein and Maxime Di Folco and Julia A. Schnabel},
journal= {arXiv preprint arXiv:2312.08932},
year = {2023}
}