面向胶质瘤分割、分子亚型与分级的多层级特征探索的多模态 MRI 基础模型
图像与视频处理
2025-03-11 v1 人工智能
计算机视觉与模式识别
摘要
准确、无创的胶质瘤表征对于有效的临床管理至关重要。依赖于有创组织采样的传统方法通常无法捕捉肿瘤的空间异质性。虽然深度学习改进了分割和分子分析，但很少有方法能同时整合肿瘤形态学和分子特征。基础深度学习模型从大规模数据集中学习稳健的、任务无关的表示，具有广阔前景，但在胶质瘤影像生物标志物中仍未得到充分利用。我们提出了 Multi-Task SWIN-UNETR (MTS-UNET) 模型，这是一种建立在 BrainSegFounder 模型之上、在大规模神经影像数据上预训练的新型基础模型框架。MTS-UNET 同时执行胶质瘤分割、组织学分级和分子亚型分类（IDH 突变和 1p/19q 共缺失）。它包含两个关键模块：用于多尺度、聚焦肿瘤特征提取的 Tumor-Aware Feature Encoding (TAFE)，以及用于突出显示与 IDH 突变相关的细微 T2-FLAIR 不匹配信号的 Cross-Modality Differential (CMD)。该模型在来自七个公共数据集的 2,249 名胶质瘤患者的多样化、多中心队列上进行了训练和验证。MTS-UNET 在分割上达到了 84% 的平均 Dice 分数，IDH 突变预测的 AUC 为 90.58%，1p/19q 共缺失预测的 AUC 为 69.22%，分级的 AUC 为 87.54%，显著优于基线模型（p<=0.05）。消融实验验证了 TAFE 和 CMD 模块的重要贡献，并证明了该框架的稳健性。基于基础模型的 MTS-UNET 有效地将肿瘤分割与多层级分类相结合，在不同 MRI 数据集上展现出强大的泛化能力。该框架通过提高预测准确性和可解释性，在推进无创、个性化胶质瘤管理方面显示出巨大潜力。
引用
@article{arxiv.2503.06828,
title = {Towards a Multimodal MRI-Based Foundation Model for Multi-Level Feature Exploration in Segmentation, Molecular Subtyping, and Grading of Glioma},
author = {Somayeh Farahani and Marjaneh Hejazi and Antonio Di Ieva and Emad Fatemizadeh and Sidong Liu},
journal= {arXiv preprint arXiv:2503.06828},
year = {2025}
}