mmFormer：用于脑肿瘤不完整多模态学习的多模态医学Transformer
图像与视频处理
2022-08-05 v2 计算机视觉与模式识别
摘要
从磁共振成像（MRI）中准确分割脑肿瘤需要多模态图像的联合学习。然而，在临床实践中，并不总是能够获取完整的MRI集合，缺失模态的问题导致现有多模态分割方法出现严重的性能下降。在本工作中，我们首次尝试利用Transformer进行多模态脑肿瘤分割，该方法对任意可用模态的组合子集均具有鲁棒性。具体而言，我们提出了一种新颖的多模态医学Transformer（mmFormer）用于不完整多模态学习，其包含三个主要组件：混合模态特定编码器，其将卷积编码器与模态内Transformer桥接，以在每个模态内建模局部和全局上下文；模态间Transformer，用于建立并对齐跨模态的长程相关性，以获取对应于肿瘤区域、具有全局语义的模态不变特征；解码器，其利用模态不变特征执行渐进式上采样与融合以生成鲁棒分割。此外，在编码器和解码器中引入辅助正则化项，以进一步增强模型对不完整模态的鲁棒性。我们在公开的BraTS 数据集上进行了广泛的脑肿瘤分割实验。结果表明，所提出的mmFormer在不完整多模态脑肿瘤分割上优于最先进（SOTA）方法，几乎适用于所有不完整模态子集，尤其在仅有一个可用模态时，肿瘤分割的Dice系数平均提升19.07%。代码见 https://github.com/YaoZhang93/mmFormer。
引用
@article{arxiv.2206.02425,
title = {mmFormer: Multimodal Medical Transformer for Incomplete Multimodal Learning of Brain Tumor Segmentation},
author = {Yao Zhang and Nanjun He and Jiawei Yang and Yuexiang Li and Dong Wei and Yawen Huang and Yang Zhang and Zhiqiang He and Yefeng Zheng},
journal= {arXiv preprint arXiv:2206.02425},
year = {2022}
}
备注
Accepted to MICCAI 2022