MANGO：面向智能ICU结果的多模态 acuity 转换器
信号处理
2024-12-25 v1 人工智能
机器学习
摘要
估计急性照护病房（ICU）中的病人 acuity 至关重要，以确保及时和适当的干预。人工智能（AI）技术的进步显著提高了 acuity 预测的准确度。然而，先前使用机器学习进行 acuity 预测的研究主要依赖电子健康记录（EHR）数据，往往忽视了ICU住院其他关键方面，如患者活动、环境因素以及指示疼痛或不安的面部线索。为弥合这一差距，我们提出了MANGO：面向智能ICU结果的多模态 acuity 转换器，旨在增强对病人 acuity 状态、转换和生命维持治疗需求的预测。我们收集了一个多模态数据集 ICU-Multimodal，包含四种关键模态：EHR数据、可穿戴传感器数据、患者面部视频以及环境传感器数据，并用于训练MANGO。MANGO模型采用由 Transformer 掩码自注意力方法驱动的多模态特征融合网络，使其能够捕捉和学习这些多样数据模态之间的复杂交互，即使某些模态缺失亦可正常工作。我们的结果表明，整合多模态数据显著提高了模型预测 acuity 状态、转换和生命维持治疗需求的能力。最佳模型在预测 acuity 状态转换和生命维持治疗需求方面的受试者工作特征曲线下面积（AUROC）为0.76（95%置信区间：0.72-0.79），在 acuity 状态预测方面为0.82（95%置信区间：0.69-0.89）。
引用
@article{arxiv.2412.17832,
title = {MANGO: Multimodal Acuity traNsformer for intelliGent ICU Outcomes},
author = {Jiaqing Zhang and Miguel Contreras and Sabyasachi Bandyopadhyay and Andrea Davidson and Jessica Sena and Yuanfang Ren and Ziyuan Guan and Tezcan Ozrazgat-Baslanti and Tyler J. Loftus and Subhash Nerella and Azra Bihorac and Parisa Rashidi},
journal= {arXiv preprint arXiv:2412.17832},
year = {2024}
}