中文

面向医学图像分割的基础模型课程提示

计算机视觉与模式识别 2024-09-04 v1 人工智能

摘要

将大型预训练基础模型(如SAM)适配于医学图像分割仍然是一个重大挑战。其中一个关键步骤涉及制定一系列包含特定临床指令的专门提示。以往的工作严重依赖于为每个实例使用单一类型的提示,需要手动输入理想正确的提示,这效率较低。为了解决这个问题,我们提出利用不同粒度的提示,这些提示源自原始图像,以提供更广泛的临床视角。然而,由于潜在的冲突,组合不同类型的提示可能构成挑战。为此,我们设计了一种从粗到细的机制,称为课程提示,它逐步整合不同类型的提示。通过在三个不同模态的公开医学数据集上进行广泛实验,我们证明了所提方法的有效性,它不仅自动化了提示生成过程,而且与其他基于SAM的医学图像分割方法相比,性能更优。代码可在以下链接获取:https://github.com/AnnaZzz-zxq/Curriculum-Prompting。

关键词

引用

@article{arxiv.2409.00695,
  title  = {Curriculum Prompting Foundation Models for Medical Image Segmentation},
  author = {Xiuqi Zheng and Yuhang Zhang and Haoran Zhang and Hongrui Liang and Xueqi Bao and Zhuqing Jiang and Qicheng Lao},
  journal= {arXiv preprint arXiv:2409.00695},
  year   = {2024}
}

备注

Accepted by MICCAI 2024