ProMISe：基于提示驱动与预训练图像基础模型的3D医学图像分割
图像与视频处理
2023-11-15 v3 计算机视觉与模式识别
摘要
为解决医学影像中普遍存在的如数据获取困难与标签稀缺等问题，从自然图像到医学图像领域的迁移学习是一种产生可靠分割结果的可行策略。然而，领域间若干现有壁垒需要被打破，包括处理对比度差异、管理解剖结构变异性，以及将2D预训练模型适配于3D分割任务。本文中，我们提出ProMISe，一种提示驱动的3D医学图像分割模型，仅使用单个点提示来利用预训练2D图像基础模型中的知识。具体而言，我们使用来自Segment Anything Model (SAM)的预训练视觉Transformer，并集成轻量适配器以提取深度相关（3D）空间上下文，而不更新预训练权重。为获得鲁棒结果，设计了一个具有互补编码器的混合网络，并提出一种边界感知损失以实现精确边界。我们在两个公开数据集上分别评估了结肠与胰腺肿瘤分割任务中的模型。与带提示工程和不带提示工程的最先进分割方法相比，我们所提方法取得了更优性能。代码已公开于 https://github.com/MedICL-VU/ProMISe。
引用
@article{arxiv.2310.19721,
title = {Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained Image Foundation Models},
author = {Hao Li and Han Liu and Dewei Hu and Jiacheng Wang and Ipek Oguz},
journal= {arXiv preprint arXiv:2310.19721},
year = {2023}
}
备注
updated acknowledgments and fixed typos