一种三重注意力融合引导的多模态分割网络

在多模态分割领域，可以考虑不同模态之间的相关性来改善分割结果。考虑到不同MR模态之间的相关性，本文提出了一种由新型三重注意力融合引导的多模态分割网络。我们的网络包括N个具有N个图像源的模型独立编码路径、一个三重注意力融合块、一个双重注意力融合块和一个解码路径。模型独立的编码路径可以从N个模态中捕获模态特定特征。考虑到并非所有从编码器提取的特征都对分割有用，我们提出使用基于双重注意力的融合来沿模态和空间路径重新加权特征，这可以抑制信息量较少的特征，并强调不同位置每个模态的有用特征。由于不同模态之间存在强相关性，在双重注意力融合块的基础上，我们提出了一个相关性注意力模块来形成三重注意力融合块。在相关性注意力模块中，首先使用一个相关性描述块来学习模态之间的相关性，然后使用基于相关性的约束来引导网络学习与分割更相关的潜在相关特征。最后，获得的融合特征表示由解码器投影以获得分割结果。我们在BraTS 2018数据集上进行的脑肿瘤分割实验结果证明了所提出方法的有效性。