用于多序列 MRI 的混合融合 Transformer

随着全卷积网络（FCN）的出现，医学分割呈指数级增长，而如今我们借助 Transformer 的成功迎来了转折点。然而，模态的不同特性尚未被充分整合进用于医学分割的 Transformer 中。在这项工作中，我们提出了一种新颖的混合融合 Transformer（HFTrans）用于多序列 MRI 图像分割。我们利用多模态 MRI 序列之间的差异，并使用 Transformer 层来整合从各模态提取的特征以及早期融合模态的特征。我们在三维（3D）医学分割中验证了混合融合方法的有效性。在两个公开数据集 BraTS2020 和 MRBrainS18 上的实验表明，所提方法在脑肿瘤分割和脑结构分割任务上优于先前的最先进方法。