用于电影心脏磁共振图像分析任务的多功能基础模型
图像与视频处理
2025-09-03 v2 人工智能
计算机视觉与模式识别
摘要
我们在此提出一个多功能的基础模型，能够执行一系列临床相关的图像分析任务，包括分割、标志点定位、诊断和预后预测。一个名为 CineMA 的多视图卷积-Transformer 掩码自编码器，在来自 74,916 名受试者的 1500 万张电影图像上进行了训练。该模型在多个图像分析任务上进行了验证，并在来自具有不同人群特征的八个独立数据集的超过 4,500 张图像上与现有模型进行了比较，代表了迄今为止电影 CMR 最大规模的基准研究。CineMA 在勾画心室边界和估计射血分数（心脏功能的关键指标）方面始终优于传统卷积神经网络（CNN）。即使该模型仅使用一半的微调数据，其性能提升依然得以保持。CineMA 在疾病检测方面也超越了 CNN，并在长轴功能测量中与 CNN 性能相当。有趣的是，我们发现 CineMA 还能检测全身性疾病（如糖尿病、高血压和癌症）中的心脏变化，并且能够预测死亡率。最后，我们评估了模型的公平性，并证明了在不同人口统计学亚组中模型性能的一致性。这些发现突显了 CineMA 的准确性、学习效率、适应性和公平性，强调了其作为自动化心脏图像分析基础模型以支持临床工作流程和心血管研究的潜力。所有训练和推理代码及模型均已公开于 https://github.com/mathpluscode/CineMA。
引用
@article{arxiv.2506.00679,
title = {A versatile foundation model for cine cardiac magnetic resonance image analysis tasks},
author = {Yunguan Fu and Wenjia Bai and Weixi Yi and Charlotte Manisty and Anish N Bhuva and Thomas A Treibel and James C Moon and Matthew J Clarkson and Rhodri Huw Davies and Yipeng Hu},
journal= {arXiv preprint arXiv:2506.00679},
year = {2025}
}