基于人工智能的电子健康记录与影像数据融合方法
机器学习
2022-10-28 v1 人工智能
计算机视觉与模式识别
摘要
医疗数据本质上是多模态的，包括电子健康记录（EHR）、医学图像和多组学数据。融合这些多模态数据源有助于更好地理解人类健康并提供最优的个性化医疗。人工智能（AI）技术特别是机器学习（ML）的进步，使得融合这些不同数据模态以提供多模态洞察成为可能。为此，本范围综述聚焦于综合与分析使用 AI 技术融合多模态医疗数据用于不同临床应用的文献。更具体地，我们聚焦于仅融合 EHR 与医学影像数据以开发各种 AI 方法用于临床应用的研究。我们全面分析了各种融合策略、使用多模态融合的疾病与临床结局、用于各临床应用执行多模态融合的 ML 算法，以及可用的多模态医疗数据集。我们遵循 PRISMA-ScR 指南。我们检索 Embase、PubMed、Scopus 和 Google Scholar 以获取相关研究。我们从满足纳入标准的 34 项研究中提取数据。在我们的分析中，观察到一个典型工作流：输入原始数据，应用传统机器学习（ML）或深度学习（DL）算法融合不同数据模态，最后通过临床结局预测评估多模态融合。具体而言，早期融合是大多数应用中多模态学习最常用技术（34 项研究中 22 项）。我们发现多模态融合模型在相同任务上优于传统单模态模型。从临床结局角度看，疾病诊断与预测是最常见临床结局（分别见于 20 和 10 项研究）。
引用
@article{arxiv.2210.13462,
title = {Artificial Intelligence-Based Methods for Fusion of Electronic Health Records and Imaging Data},
author = {Farida Mohsen and Hazrat Ali and Nady El Hajj and Zubair Shah},
journal= {arXiv preprint arXiv:2210.13462},
year = {2022}
}
备注
Accepted in Nature Scientific Reports. 20 pages