Show and Segment:基于上下文学习的通用医学图像分割

由于解剖结构、成像模态和分割任务的多样性,医学图像分割仍然充满挑战。尽管深度学习已取得显著进展,但现有方法在泛化方面仍存在困难,因为它们需要对未见类别进行任务特定的训练或微调。我们提出了 Iris,一种新颖的上下文参考图像引导分割(In-context Reference Image guided Segmentation)框架,能够通过使用参考示例灵活适应新任务,而无需微调。Iris 的核心是一个轻量级的上下文任务编码模块,用于从参考上下文图像-标签对中提炼任务特定信息。这种丰富的上下文嵌入信息被用于引导目标对象的分割。通过将任务编码与推理解耦,Iris 支持多样化的策略,包括一次性推理、上下文示例集成、目标级上下文示例检索以及上下文微调。通过在十二个数据集上的全面评估,我们证明 Iris 在分布内任务上相较于任务特定模型表现强劲。在七个留出数据集上,Iris 对分布外数据和未见类别表现出更优的泛化能力。此外,Iris 的任务编码模块能够自动发现跨数据集和跨模态的解剖关系,为医学对象提供无需显式解剖监督的洞见。