MedUniSeg：通过提示驱动的通用模型实现2D和3D医学图像分割
计算机视觉与模式识别
2024-10-10 v1
摘要
通用分割模型通过有效利用离散标注，在解决广泛任务方面具有巨大潜力。随着任务和模态范围的扩展，在通用模型内部生成并策略性地定位任务和模态特定的先验知识变得日益重要。然而，现有的通用模型常常忽略不同先验之间的相关性，并且这些先验的最佳放置位置和频率仍未得到充分探索。在本文中，我们介绍了MedUniSeg，一个提示驱动的通用分割模型，专为跨不同模态和领域的2D和3D多任务分割而设计。MedUniSeg采用多个模态特定提示以及一个通用任务提示来精确表征模态和任务。为了生成相关的先验，我们提出了模态映射（MMap）模块以及融合与选择（FUSE）模块，它们将模态和任务提示转换为相应的先验。这些模态和任务先验被系统地引入到编码过程的开始和结束。我们在一个包含17个子数据集的综合多模态上游数据集上评估了MedUniSeg。结果表明，MedUniSeg实现了卓越的多任务分割性能，在17个上游任务上的平均Dice分数相比nnUNet基线提升了1.2%，同时使用的参数少于其1/10。对于初始多任务联合训练中表现不佳的任务，我们冻结MedUniSeg并引入新模块来重新学习这些任务。这种方法产生了一个增强版本MedUniSeg*，它在所有任务上持续优于MedUniSeg。此外，MedUniSeg在六个下游任务上超越了先进的自监督和监督预训练模型，确立了自己作为一个高质量、高泛化能力的预训练分割模型的地位。
引用
@article{arxiv.2410.05905,
title = {MedUniSeg: 2D and 3D Medical Image Segmentation via a Prompt-driven Universal Model},
author = {Yiwen Ye and Ziyang Chen and Jianpeng Zhang and Yutong Xie and Yong Xia},
journal= {arXiv preprint arXiv:2410.05905},
year = {2024}
}