SegICL：一种用于增强医学图像分割的多模态上下文学习框架
计算机视觉与模式识别
2024-05-31 v4 人工智能
摘要
在医学图像分割领域，以经济高效的方式处理分布外（Out-of-Distribution, OOD）分割任务仍然是一个重大挑战。通用分割模型是一种解决方案，旨在泛化到不同模态的医学图像，但当应用于OOD数据模态和任务时，其有效性往往会下降，需要对模型进行复杂的微调才能获得最佳性能。少样本学习分割方法通常针对特定数据模态设计，无法直接迁移用于其他模态。因此，我们提出了SegICL，一种利用上下文学习（In-Context Learning, ICL）进行图像分割的新方法。与现有方法不同，SegICL能够进行文本引导的分割，并利用少量图像-掩码对进行上下文学习，无需从头训练模型或针对OOD任务（包括OOD模态和数据集）进行微调。大量实验表明，在OOD任务上，样本数量与分割性能之间存在正相关关系。提供三个样本时的分割性能大约是零样本设置下的1.5倍。这表明SegICL能够基于上下文信息有效处理新的分割任务。此外，SegICL在OOD和分布内任务上也表现出与主流模型相当的性能。我们的代码将在论文审稿后发布。
引用
@article{arxiv.2403.16578,
title = {SegICL: A Multimodal In-context Learning Framework for Enhanced Segmentation in Medical Imaging},
author = {Lingdong Shen and Fangxin Shang and Xiaoshuang Huang and Yehui Yang and Haifeng Huang and Shiming Xiang},
journal= {arXiv preprint arXiv:2403.16578},
year = {2024}
}