Part-aware Prompted Segment Anything Model for Adaptive Segmentation

精准医疗（例如由医学图像分析辅助的患者自适应治疗）由于不同患者之间存在巨大差异且每位患者的标注数据有限，给分割算法适应新患者带来了新的挑战。在本工作中，我们提出了一种数据高效的分割算法，即部件感知提示 Segment Anything 模型（$P^2SAM$）。无需任何模型微调，$P^2SAM$仅依赖一次性的患者特异性数据，即可无缝适应任何新患者。我们引入了一种新颖的部件感知提示机制，基于一次性数据的部件级特征选择多点提示，该机制可广泛集成到不同的可提示分割模型中，如 SAM 和 SAM 2。此外，为了确定每种特定情况下的最佳部件数量，我们提出了一种分布引导的检索方法，进一步增强了部件感知提示机制的鲁棒性。$P^2SAM$在两种不同的患者自适应分割应用中，平均 Dice 分数分别提高了+8.0% 和+2.0%。此外，$P^2SAM$在自然图像领域的其他自适应分割任务中也表现出令人印象深刻的泛化能力，例如在个性化物体分割任务中 mIoU 提高了+6.4%。代码地址：https://github.com/Zch0414/p2sam