NestedFormer：用于脑肿瘤分割的嵌套模态感知 Transformer
图像与视频处理
2022-09-01 v1 计算机视觉与模式识别
摘要
多模态 MR 成像在临床实践中常规用于通过提供丰富的互补信息来诊断和研究中脑肿瘤。以往的多模态 MRI 分割方法通常通过在网络早期/中期拼接多模态 MRI 来进行模态融合，难以挖掘模态间的非线性依赖关系。本工作中，我们提出一种新颖的嵌套模态感知 Transformer（NestedFormer），以显式探索多模态 MRI 的模态内与模态间关系用于脑肿瘤分割。基于 Transformer 的多编码器单解码器结构，我们对不同模态的高层表示进行嵌套多模态融合，并在较低尺度上应用模态敏感门控（MSG）以实现更有效的跳跃连接。具体而言，多模态融合在我们提出的嵌套模态感知特征聚合（NMaFA）模块中完成，该模块通过三向空间注意力 Transformer 增强各模态内部的长期依赖，并进一步通过跨模态注意力 Transformer 补充模态间的关键上下文信息。在 BraTS2020 基准和一个私有的脑膜瘤分割（MeniSeg）数据集上的大量实验表明，NestedFormer 明显优于当前最优方法。代码见 https://github.com/920232796/NestedFormer。
引用
@article{arxiv.2208.14876,
title = {NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation},
author = {Zhaohu Xing and Lequan Yu and Liang Wan and Tong Han and Lei Zhu},
journal= {arXiv preprint arXiv:2208.14876},
year = {2022}
}
备注
MICCAI2022