PGP-SAM：用于高效少样本医学图像分割的原型引导提示学习
计算机视觉与模式识别
2025-01-14 v1 人工智能
摘要
Segment Anything Model (SAM) 展现了强大且通用的分割能力，以及直观的基于提示的交互。然而，将 SAM 定制用于医学图像分割需要大量的像素级标注和精确的基于点或框的提示设计。为了应对这些挑战，我们引入了 PGP-SAM，这是一种新颖的基于原型的少样本微调方法，利用有限的样本替代繁琐的手动提示。我们的核心思想是利用类间和类内原型来捕获特定类别的知识和关系。我们提出了两个主要组件：（1）一个即插即用的上下文调制模块，用于整合多尺度信息，以及（2）一个类引导的交叉注意力机制，用于融合原型和特征以自动生成提示。在公共多器官数据集和私有心室数据集上的实验表明，与现有的无提示 SAM 变体相比，PGP-SAM 仅使用 10\% 的 2D 切片便获得了更优的平均 Dice 分数。
引用
@article{arxiv.2501.06692,
title = {PGP-SAM: Prototype-Guided Prompt Learning for Efficient Few-Shot Medical Image Segmentation},
author = {Zhonghao Yan and Zijin Yin and Tianyu Lin and Xiangzhu Zeng and Kongming Liang and Zhanyu Ma},
journal= {arXiv preprint arXiv:2501.06692},
year = {2025}
}
备注
5 pages, 2 figures, Accepted at ISBI 2025