MGML:一种用于不完整多模态脑肿瘤分割的即插即用元引导多模态学习框架
计算机视觉与模式识别
2026-01-01 v1
摘要
利用来自磁共振成像(MRI)的多模态信息在病灶分割中发挥着至关重要的作用,尤其是对于脑肿瘤。然而在临床实践中,多模态 MRI 数据通常是不完整的,这使得充分利用现有信息具有挑战性。因此,最大化利用这种不完整的多模态信息是一个关键的研究挑战。我们提出了一种新颖的元引导多模态学习(MGML)框架,该框架包含两个组件:元参数化自适应模态融合和一致性正则化模块。元参数化自适应模态融合(Meta-AMF)使模型能够在不同输入条件下有效整合来自多种模态的信息。通过基于可用模态生成自适应软标签监督信号,Meta-AMF 明确促进了更连贯的多模态融合。此外,一致性正则化模块增强了分割性能,并隐式地强化了整体框架的鲁棒性和泛化能力。值得注意的是,我们的方法没有改变原始模型架构,可以方便地集成到训练流程中进行端到端模型优化。我们在公开的 BraTS2020 和 BraTS2023 数据集上进行了大量实验。与往年的多种 SOTA 方法相比,我们的方法取得了更优的性能。在 BraTS2020 上,对于十五种缺失模态组合的平均 Dice 得分,在基线的基础上,我们的方法对于整个肿瘤(WT)、肿瘤核心(TC)和增强肿瘤(ET)分别获得了 87.55、79.36 和 62.67 的得分。我们已在 https://github.com/worldlikerr/MGML 公开了我们的源代码。
引用
@article{arxiv.2512.23936,
title = {MGML: A Plug-and-Play Meta-Guided Multi-Modal Learning Framework for Incomplete Multimodal Brain Tumor Segmentation},
author = {Yulong Zou and Bo Liu and Cun-Jing Zheng and Yuan-ming Geng and Siyue Li and Qiankun Zuo and Shuihua Wang and Yudong Zhang and Jin Hong},
journal= {arXiv preprint arXiv:2512.23936},
year = {2026}
}