面向人脑成像的模态无关多任务基础模型
计算机视觉与模式识别
2025-09-03 v1
摘要
近年来，基于学习的方法在计算机断层扫描（CT）等已校准的医学成像领域取得了惊人进展，但在未校准模态——尤其是磁共振（MR）成像中却难以泛化，因为其性能对 MR 对比度、分辨率和方向的差异高度敏感。这阻碍了其在多样化的真实世界临床方案中的广泛适用性。本文提出 BrainFM，一种用于人脑成像的模态无关、多任务视觉基础模型。借助所提出的“由轻到重”的受试者内生成策略与“真实-合成”混合训练策略，BrainFM 对所采集图像的外观（如模态、对比度、形变、分辨率、伪影）具有鲁棒性，并可直接应用于五项基础脑成像任务，包括 CT 与 T1w/T2w/FLAIR MRI 的图像合成、解剖结构分割、头皮到皮层的距离测量、偏置场估计以及配准。我们在十一个公开数据集上评估了 BrainFM 的有效性，并证明了其在所有任务和输入模态上的鲁棒性与有效性。代码可在 https://github.com/jhuldr/BrainFM 获取。
引用
@article{arxiv.2509.00549,
title = {A Modality-agnostic Multi-task Foundation Model for Human Brain Imaging},
author = {Peirong Liu and Oula Puonti and Xiaoling Hu and Karthik Gopinath and Annabel Sorby-Adams and Daniel C. Alexander and W. Taylor Kimberly and Juan E. Iglesias},
journal= {arXiv preprint arXiv:2509.00549},
year = {2025}
}
备注
16 pages