DuETT：面向电子健康记录的双重事件时间 Transformer
机器学习
2023-08-17 v2
摘要
医院环境中记录的电子健康记录（EHRs）通常包含广泛的数值时间序列数据，其特征是高度稀疏与非规则观测。对此类数据的有效建模必须利用其时间序列性质、不同观测类型之间的语义关系，以及数据稀疏结构中的信息。自监督 Transformer 已在 NLP 与计算机视觉的多种结构化任务中展现出卓越性能。但多元时间序列数据在时间与记录事件类型两个维度上包含结构化关系，而将 Transformer 直接应用于时间序列数据并未利用这一独特结构。自注意力层的二次方复杂度也会在缺乏适当输入工程时严重限制输入序列长度。我们提出 DuETT 架构，一种扩展的 Transformer，旨在对时间与事件类型两个维度进行注意力计算，从而从 EHR 数据中产生鲁棒表示。DuETT 使用聚合输入，将稀疏时间序列转换为定长规则序列；这降低了相对于先前 EHR Transformer 模型的计算复杂度，更重要的是，使得使用更大更深的神经网络成为可能。当使用自监督预测任务训练时（为模型预训练提供丰富且具信息量的信号），我们的模型在来自 MIMIC-IV 与 PhysioNet-2012 EHR 数据集的多个下游任务上优于最先进的深度学习模型。
引用
@article{arxiv.2304.13017,
title = {DuETT: Dual Event Time Transformer for Electronic Health Records},
author = {Alex Labach and Aslesha Pokhrel and Xiao Shi Huang and Saba Zuberi and Seung Eun Yi and Maksims Volkovs and Tomi Poutanen and Rahul G. Krishnan},
journal= {arXiv preprint arXiv:2304.13017},
year = {2023}
}
备注
Accepted at MLHC 2023, camera-ready version