BrainSegFounder：面向神经图像分割的 3D 基础模型
图像与视频处理
2024-11-08 v3 计算机视觉与模式识别
神经元与认知
摘要
脑部健康研究日益依赖人工智能（AI）来解释和分析神经医学数据。本研究引入一种新方法，旨在创建医学基础模型，通过整合来自 41,400 名受试者的大规模多模态磁共振成像（MRI）数据。我们的方法涉及使用视觉转换器进行的两阶段预训练方法。第一个阶段专注于编码一般健康大脑中的解剖结构，识别关键特征，如不同脑区的形状和大小。第二个阶段聚焦于空间信息，包括位置和脑结构之间的相对定位。我们严格评估了我们的模型 BrainFounder，使用脑瘤分割（BraTS）挑战和解剖标踪后卒中后病灶 v2.0（ATLAS v2.0）数据集。BrainFounder 显示出显著的性能提升，超越了以前使用全监督学习获得的获奖解决方案。我们的发现凸显了通过扩大模型复杂度和来自一般健康大脑的未标记训练数据的量，来增强神经影像任务中 MRI 数据的准确度和预测能力的影响。本研究的意义在于为医疗 AI 的创建提供了变革性的见解和实际应用，并为医学基础模型的创建迈出了重要一步。我们的预训练模型和训练代码可在 https://github.com/lab-smile/GatorBrain 上获得。
引用
@article{arxiv.2406.10395,
title = {BrainSegFounder: Towards 3D Foundation Models for Neuroimage Segmentation},
author = {Joseph Cox and Peng Liu and Skylar E. Stolte and Yunchao Yang and Kang Liu and Kyle B. See and Huiwen Ju and Ruogu Fang},
journal= {arXiv preprint arXiv:2406.10395},
year = {2024}
}
备注
19 pages, 5 figures, to be published in Medical Image Analysis