面向医疗健康应用的多模态人工智能集成框架
机器学习
2022-09-28 v4 人工智能
计算机与社会
摘要
人工智能(AI)系统有望在未来几十年显著改善医疗健康。具体而言,利用多数据源与多输入模态的 AI 系统,有望成为一种可行方法,在广泛应用范围内提供更准确的结果与可部署的流水线。在本工作中,我们提出并评估了一个统一的医学整体人工智能(Holistic AI in Medicine, HAIM)框架,以促进利用多模态输入的 AI 系统的生成与测试。我们的方法采用可泛化的数据预处理与机器学习建模阶段,可轻松适配医疗环境中的研究与部署。我们基于 HAIM-MIMIC-MM(一个包含 34,537 个样本、7,279 次唯一住院和 6,485 名患者的多模态临床数据库,涵盖 4 种数据模态(即表格、时间序列、文本和图像)、11 个唯一数据源和 12 个预测任务的所有可能输入组合)训练并刻画了 14,324 个独立模型,以此评估我们的 HAIM 框架。我们表明,该框架能够持续且稳健地生成在各类医疗演示中优于类似单源方法的模型(提升 6–33%),包括 10 种不同的胸部病理诊断,以及住院时长和 48 小时死亡率预测。我们还使用 Shapley 值量化了每种模态与数据源的贡献,这表明数据模态重要性的异质性以及在不同医疗相关任务中多模态输入的必要性。我们的医学整体人工智能(HAIM)框架的泛化特性与灵活性,可为临床与运营医疗环境中的未来多模态预测系统提供一条有前景的路径。
引用
@article{arxiv.2202.12998,
title = {Integrated multimodal artificial intelligence framework for healthcare applications},
author = {Luis R. Soenksen and Yu Ma and Cynthia Zeng and Leonard D. J. Boussioux and Kimberly Villalobos Carballo and Liangyuan Na and Holly M. Wiberg and Michael L. Li and Ignacio Fuentes and Dimitris Bertsimas},
journal= {arXiv preprint arXiv:2202.12998},
year = {2022}
}