TEE4EHR：用于电子健康记录中更好表示学习的 Transformer 事件编码器
机器学习
2024-06-17 v1
摘要
电子健康记录（EHRs）中时间序列的不规则采样是开发机器学习模型的主要挑战之一。此外，某些临床变量的数据缺失模式并非随机，而是取决于临床医生的决策和患者的状态。点过程是一个用于分析事件序列数据的数学框架，与不规则采样模式相一致。我们的模型 TEE4EHR 是一个带有点过程损失的 Transformer 事件编码器（TEE），用于编码 EHRs 中的实验室测试模式。我们在各种基准事件序列数据集中研究了 TEE 的效用。此外，我们在两个真实世界的 EHR 数据库上进行了实验，以提供对模型更全面的评估。首先，在自监督学习方法中，TEE 与现有的基于注意力的深度神经网络联合学习，在负对数似然和未来事件预测方面表现出卓越的性能。此外，我们提出了一种聚合注意力权重的算法，可以揭示事件之间的交互作用。其次，我们将学习到的 TEE 迁移并冻结到结果预测的下游任务中，在该任务中它优于处理不规则采样时间序列的最先进模型。此外，我们的结果表明，我们的方法可以改进 EHRs 中的表示学习，并对临床预测任务有用。
引用
@article{arxiv.2402.06367,
title = {TEE4EHR: Transformer Event Encoder for Better Representation Learning in Electronic Health Records},
author = {Hojjat Karami and David Atienza and Anisoara Ionescu},
journal= {arXiv preprint arXiv:2402.06367},
year = {2024}
}