利用多模态基础模型推进卒中风险预测
计算机视觉与模式识别
2025-07-09 v2 人工智能
摘要
预测卒中风险是一项复杂挑战，可通过整合多种临床可用的数据模态加以改进。本研究提出了一个自监督多模态框架，融合三维脑成像、临床数据和图像衍生特征，以在发病前改进卒中风险预测。通过利用大规模未标注临床数据集，该框架捕捉图像与表格数据模态间互补且协同的信息。我们的方法基于对比学习框架，将对比语言-图像预训练与图像-表格匹配模块相结合，以在共享潜在空间中更好地对齐多模态数据表示。模型在 UK Biobank 上训练，包含结构脑 MRI 和临床数据。我们在多样化的冻结和可训练模型设置下，使用表格、图像及图像-表格组合，将其性能与最先进的单模态和多模态方法进行基准测试。与自监督表格（图像）方法相比，所提模型在 ROC-AUC 上分别提升 2.6%（2.6%），在平衡准确率上分别提升 3.3%（5.6%）。此外，与最佳多模态监督模型相比，平衡准确率提高了 7.6%。通过可解释性工具，我们的方法展示了更好的表格与图像数据整合，提供了更丰富且对齐更好的嵌入。梯度加权类激活映射热力图进一步揭示了文献中常与脑衰老、卒中风险和临床结局相关的激活脑区。该稳健的自监督多模态框架超越了最先进的卒中风险预测方法，为未来整合多样数据模态以推进临床预测建模奠定了坚实基础。
引用
@article{arxiv.2411.09822,
title = {Advancing Stroke Risk Prediction Using a Multi-modal Foundation Model},
author = {Camille Delgrange and Olga Demler and Samia Mora and Bjoern Menze and Ezequiel de la Rosa and Neda Davoudi},
journal= {arXiv preprint arXiv:2411.09822},
year = {2025}
}
备注
Accepted as oral paper at AIM-FM workshop, Neurips 2024