解耦自身模态与其他模态的特征表示用于不完备多模态脑肿瘤分割
计算机视觉与模式识别
2024-08-19 v1
摘要
多模态脑肿瘤分割通常涉及四种磁共振成像（MRI）模态，而不完整模态会显著降低性能。现有方案采用显式或隐式模态适配，在各模态间对齐特征或学习对模态不完整性具有鲁棒性的融合特征。它们共享一个共同目标，即鼓励每种模态同时表达自身和其他模态。然而，这两种表达能力在一个无缝特征空间中纠缠在一起，导致学习负担过重。在本文中，我们提出DeMoSeg，通过解耦表示自身模态和其他模态的任务来增强模态适配，从而实现鲁棒的不完备多模态分割。解耦非常轻量，仅使用两个卷积将每种模态映射到四个特征子空间。第一个子空间表达自身（自特征），其余子空间替代其他模态（互特征）。自特征和互特征通过精心设计的通道稀疏自注意力（CSSA）相互引导。之后，引入放射科医生模拟的跨模态表达关系（RCR），使可用模态提供自特征，并'借出'其互特征以补偿缺失模态，利用临床先验知识。BraTS2020、BraTS2018和BraTS2015上的基准结果验证了DeMoSeg的优越性，这得益于缓解了模态适配难度。具体而言，对于BraTS2020，DeMoSeg在全肿瘤、肿瘤核心和增强肿瘤区域上分别将Dice值提高了至少0.92%、2.95%和4.95%，优于其他最先进方法。代码位于https://github.com/kk42yy/DeMoSeg
引用
@article{arxiv.2408.08708,
title = {Decoupling Feature Representations of Ego and Other Modalities for Incomplete Multi-modal Brain Tumor Segmentation},
author = {Kaixiang Yang and Wenqi Shan and Xudong Li and Xuan Wang and Xikai Yang and Xi Wang and Pheng-Ann Heng and Qiang Li and Zhiwei Wang},
journal= {arXiv preprint arXiv:2408.08708},
year = {2024}
}
备注
8 pages, 4 figures