面向缺失模态 3D MRI 脑肿瘤分析的多模态掩码自编码器预训练
计算机视觉与模式识别
2025-08-26 v3 人工智能
摘要
多模态磁共振成像 (MRI) 是临床医生在脑肿瘤诊疗中的首选检查手段，为手术规划、治疗监测和生物标志物识别提供关键见解。在大型数据集上进行预训练已被证明有助于模型学习可迁移的表示，并以最少的标注数据进行适应。这种行为在医学影像中尤为宝贵，因为其标注通常很稀缺。然而，将这一范式应用于多模态医学数据带来了一个挑战：大多数现有方法假设在预训练和微调期间所有成像模态都是可用的。在实践中，由于采集问题、专家不可用或小型内部数据集上的特定实验设计，经常会发生模态缺失的情况。因此，一种常见的方法是为每种所需的模态组合训练一个单独的模型，这使得该过程既耗费资源又不切实际于临床使用。因此，我们引入了 BM-MAE，一种为多模态 MRI 数据量身定制的掩码图像建模预训练策略。同一个预训练模型能够无缝适应任何可用的模态组合，提取捕获模态内和模态间信息的丰富表示。这允许在任何模态子集上进行微调而无需更改架构，同时仍受益于在完整模态集上预训练的模型。大量实验表明，所提出的预训练策略优于或保持与需要为每个模态子集单独预训练的基线相当的竞争力，同时在多个下游任务上大幅超越从零开始的训练。此外，它能快速高效地重建缺失的模态，突显了其实用价值。代码和训练好的模型可在以下地址获取：https://github.com/Lucas-rbnt/BM-MAE
引用
@article{arxiv.2505.00568,
title = {Multimodal Masked Autoencoder Pre-training for 3D MRI-Based Brain Tumor Analysis with Missing Modalities},
author = {Lucas Robinet and Ahmad Berjaoui and Elizabeth Cohen-Jonathan Moyal},
journal= {arXiv preprint arXiv:2505.00568},
year = {2025}
}