面向医学图像分割的基础模型课程提示
计算机视觉与模式识别
2024-09-04 v1 人工智能
摘要
将大型预训练基础模型(如SAM)适配于医学图像分割仍然是一个重大挑战。其中一个关键步骤涉及制定一系列包含特定临床指令的专门提示。以往的工作严重依赖于为每个实例使用单一类型的提示,需要手动输入理想正确的提示,这效率较低。为了解决这个问题,我们提出利用不同粒度的提示,这些提示源自原始图像,以提供更广泛的临床视角。然而,由于潜在的冲突,组合不同类型的提示可能构成挑战。为此,我们设计了一种从粗到细的机制,称为课程提示,它逐步整合不同类型的提示。通过在三个不同模态的公开医学数据集上进行广泛实验,我们证明了所提方法的有效性,它不仅自动化了提示生成过程,而且与其他基于SAM的医学图像分割方法相比,性能更优。代码可在以下链接获取:https://github.com/AnnaZzz-zxq/Curriculum-Prompting。
引用
@article{arxiv.2409.00695,
title = {Curriculum Prompting Foundation Models for Medical Image Segmentation},
author = {Xiuqi Zheng and Yuhang Zhang and Haoran Zhang and Hongrui Liang and Xueqi Bao and Zhuqing Jiang and Qicheng Lao},
journal= {arXiv preprint arXiv:2409.00695},
year = {2024}
}
备注
Accepted by MICCAI 2024