多源相关性约束引导的三维医学多模态分割网络

在多模态分割领域，可考虑不同模态间的相关性以改进分割结果。本文提出一种带相关性约束的多模态分割网络。我们的网络包含 N 条模型独立的编码路径（对应 N 个图像源）、一个相关性约束块、一个特征融合块以及一条解码路径。模型独立编码路径可从 N 个模态中捕获模态特有特征。由于不同模态间存在强相关性，我们首先提出一个线性相关块来学习模态间相关性，随后使用损失函数基于该线性相关块引导网络学习相关特征。该块迫使网络学习对分割更相关的潜在相关特征。考虑到并非从编码器提取的所有特征都对分割有用，我们提出使用基于双注意力的融合块沿模态与空间路径重新校准特征，从而抑制信息量较少的特征并强化有用特征。融合后的特征表示最终由解码器投影以获得分割结果。我们在 BraTS-2018 数据集上针对脑肿瘤分割的实验结果证明了所提方法的有效性。