不遗余力：通过知识蒸馏适应缺失模态的脑肿瘤分割
计算机视觉与模式识别
2025-09-19 v1
摘要
准确的脑肿瘤分割是术前评估和个体化治疗的关键。多模态 MRI 因其能够捕捉不同序列中互补肿瘤特征而广泛应用。然而，在临床实践中，常常出现模态缺失，限制了基于完整输入的深度学习方法的鲁棒性和可泛性，尤其是在非主导模态组合下。为此，我们提出 AdaMM（Adaptive Multi-modal brain tumor segmentation），针对缺失模态场景设计的多模态脑肿瘤分割框架，核心为知识蒸馏，包含三个协同模块。图指导的自适应细化模块显式建模一般可分割特征与模态特定特征之间的语义关联，增强对模态缺失的适应性。双瓶颈蒸馈模块通过全局风格匹配和对抗特征对齐，将结构和纹理知识从教师模型传递给学生模型。肿瘤存在指导的可靠性模块通过辅助分类任务预测肿瘤类型的先验概率，有效抑制不完整输入下的误报。在 BraTS 2018 和 2024 数据集上进行的大量实验表明，AdaMM 在各种缺失模态配置下均显著优于现有方法，尤其在单模态和弱模态配置下表现出卓越的分割精度和鲁棒性。此外，我们系统评估了六类缺失模态策略，确认知识蒸馈的优越性，并为方法选择及未来研究提供了实用指导。我们的源代码已公开：https://github.com/Quanato607/AdaMM。
引用
@article{arxiv.2509.15017,
title = {No Modality Left Behind: Adapting to Missing Modalities via Knowledge Distillation for Brain Tumor Segmentation},
author = {Shenghao Zhu and Yifei Chen and Weihong Chen and Shuo Jiang and Guanyu Zhou and Yuanhan Wang and Feiwei Qin and Changmiao Wang and Qiyuan Tian},
journal= {arXiv preprint arXiv:2509.15017},
year = {2025}
}
备注
38 pages, 9 figures