MedMAP: 通过对齐促进不完整多模态脑肿瘤分割
计算机视觉与模式识别
2024-08-20 v1 人工智能
摘要
脑肿瘤分割通常基于多种磁共振成像（MRI）。然而，在临床实践中，某些MRI模态可能缺失，这构成了更具挑战性的场景。为应对这一挑战，知识蒸馏、域适应和共享潜在空间已成为有前景的策略。然而，近期工作通常忽略模态差异，因此未能学习不同模态间重要的不变特征表示。这一缺陷 consequently 导致缺失模态模型性能有限。为改善这些问题，预训练模型被用于自然视觉分割任务以缩小模态差异。然而，有前景的预训练模型在医学图像分割任务中往往不可用。基于此思路，本文提出了一种新范式，将所涉及模态的潜在特征对齐到一个定义良好的分布锚点，以此替代预训练模型。作为主要贡献，我们证明了这种新颖的训练范式确保了紧密的证据下界，从而在理论上验证了其有效性。在不同骨干网络上的广泛实验验证了所提出的范式能够实现不变特征表示并产生模态差异缩小的模型。采用我们对齐范式的模型在BraTS2018和BraTS2020数据集上均展现出优越性能。
引用
@article{arxiv.2408.09465,
title = {MedMAP: Promoting Incomplete Multi-modal Brain Tumor Segmentation with Alignment},
author = {Tianyi Liu and Zhaorui Tan and Muyin Chen and Xi Yang and Haochuan Jiang and Kaizhu Huang},
journal= {arXiv preprint arXiv:2408.09465},
year = {2024}
}