具有语言监督的多模态电子健康记录的全局对比训练

现代电子健康记录凭借其广泛的广度、规模和时间粒度，在通过序列深度学习追踪个性化患者健康轨迹方面展现出巨大前景。然而，由于 EHR 具有高维、多模态、稀疏、记录频率多样以及时间不规则等复杂特征，如何有效利用 EHR 中的多种模态提出了重大挑战。为此，本文引入了一种新颖的多模态对比学习框架，特别关注医疗时间序列和临床笔记。为了应对医疗时间序列中的稀疏性和不规则时间间隔的挑战，该框架将时间交叉注意力 Transformer 与动态嵌入和分词方案相结合，以学习多模态特征表示。为了利用医疗时间序列与临床笔记之间的相互关联关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院摘要进行对齐。由于出院摘要唯一地属于个体患者并代表了患者住院期间的全局视图，机器学习模型被引导通过全局对比学习判别性的多模态特征。基于真实世界 EHR 数据集的大量实验表明，在预测超过 120,000 例大型住院手术中九种术后并发症发生率的示例任务上，我们的框架优于最先进的方法，该任务使用了来自 UF Health 系统分布在三家医院的 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 的多模态数据。