PP-SAM：用于息肉分割的Segment Anything Model鲁棒适配的扰动提示
计算机视觉与模式识别
2024-05-28 v1
摘要
最初为通用分割任务设计的Segment Anything Model（SAM）最近被用于息肉分割。然而，使用来自新成像中心或诊所的数据对SAM进行微调带来了重大挑战。这是因为需要创建昂贵且耗时的标注数据集，并且在推理过程中用户提示可能存在变异性。为解决这些问题，我们提出了一种鲁棒的微调技术PP-SAM，使SAM能够在有限图像下适应息肉分割任务。为此，我们利用可变扰动边界框提示（BBP）来丰富学习上下文，并增强模型在推理过程中对BBP扰动的鲁棒性。在息肉分割基准上的严格实验表明，我们的可变BBP扰动显著提高了模型弹性。值得注意的是，在Kvasir上，1-shot微调在推理过程中使用50和100像素的BBP扰动时，DICE分数分别提高了20%和37%。此外，我们的实验表明，推理过程中使用50像素扰动的1-shot、5-shot和10-shot PP-SAM在DICE分数上分别比最新的（SOTA）息肉分割方法高出26%、7%和5%。我们的结果推动了PP-SAM在样本有限的其它医学成像任务中的更广泛应用。我们的实现可在https://github.com/SLDGroup/PP-SAM获取。
引用
@article{arxiv.2405.16740,
title = {PP-SAM: Perturbed Prompts for Robust Adaptation of Segment Anything Model for Polyp Segmentation},
author = {Md Mostafijur Rahman and Mustafa Munir and Debesh Jha and Ulas Bagci and Radu Marculescu},
journal= {arXiv preprint arXiv:2405.16740},
year = {2024}
}
备注
7 pages, 9 figures, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops