域适应遇见零样本学习：一种面向多模态医学图像分割的标注高效方法

由于缺乏正确标注的医学数据，探索深度模型的泛化能力正成为一个公众关注的问题。零样本学习（ZSL）近年来兴起，旨在赋予深度模型识别未见类别的能力。然而，现有研究主要集中于自然图像，利用语言模型提取辅助信息用于ZSL。将自然图像的ZSL解决方案直接应用于医学图像是不切实际的，因为医学术语具有极强的领域特异性，且不易获取针对医学术语的语言模型。在这项工作中，我们提出了一种专门针对医学图像的、利用跨模态信息的ZSL新范式。我们通过所提出的范式做出了三个主要贡献。首先，我们从先验模型中提取关于分割目标的先验知识，称为关系原型，然后提出一个跨模态适应模块，将这些原型继承到零样本模型中。其次，我们提出了一个关系原型感知模块，使零样本模型能够感知原型中包含的信息。最后但同样重要的是，我们开发了一个继承注意力模块来重新校准关系原型，以增强继承过程。所提出的框架在两个公开的跨模态数据集上进行了评估，包括一个心脏数据集和一个腹部数据集。大量实验表明，所提出的框架显著优于现有最先进技术。