面向脑部 MRI 的基础模型：动态模态集成
计算机视觉与模式识别
2025-11-06 v1
摘要
我们提出了一种可处理不同成像序列组合的脑部 MRI 基础模型。该模型使用一个编码器，配合可学习的模态嵌入、条件层归一化，以及考虑缺失模态的掩码自编码目标。应用方差-协方差正则化以稳定特征学习并提高表征多样性。该设计无需为每种模态分别构建模型，使网络能够适应某些序列缺失或未见的情况。在约 60,000 例多中心 MRI 上进行自监督重建和模态插值训练，以学习灵活的表征。可学习的模态嵌入引导特征提取，使编码器能够针对不同输入进行调整。我们计划在各种模态设置下，对脑部肿瘤和多发性硬化分割以及病灶分类进行评估。初步结果表明该方法可行，进一步实验计划详细研究其性能。所有代码和预训练模型均 available at https://github.com/BrainFM/brainfm
引用
@article{arxiv.2511.03014,
title = {A Foundation Model for Brain MRI with Dynamic Modality Integration},
author = {Minh Sao Khue Luu and Bair N. Tuchinov},
journal= {arXiv preprint arXiv:2511.03014},
year = {2025}
}
备注
Preliminary work; results ongoing