CEHR-BERT：从结构化EHR数据引入时间信息以改进预测任务
机器学习
2021-12-07 v1
摘要
嵌入算法日益用于表征医疗中的临床概念，以改进诸如临床表型与疾病预测等机器学习任务。近期研究已使最先进的来自变换器的双向编码器表示（BERT）架构适应于结构化电子健康记录（EHR）数据，以生成上下文化概念嵌入，但未能充分跨多个临床领域整合时间数据。因此我们开发了新的BERT适配模型CEHR-BERT，采用混合方法引入时间信息：使用人工时间令牌扩充BERT输入，整合时间、年龄与概念嵌入，并引入针对就诊类型的新的第二学习目标。CEHR-BERT在哥伦比亚大学欧文医学中心-纽约长老会医院临床数据的子集上训练，该数据包含240万患者、跨越三十余年，并使用4折交叉验证在以下预测任务上测试：住院、死亡、新发心力衰竭（HF）诊断与HF再入院。我们的实验表明，CEHR-BERT在所有4项预测任务的ROC-AUC与PR-AUC上均优于现有的最先进临床BERT适配模型与基线模型。CEHR-BERT还展现出强大的迁移学习能力，因为我们仅用5%数据训练的模型优于用全数据集训练的对比模型。为更好理解各时间成分贡献的消融研究表明，每个元素均带来渐进增益，表明CEHR-BERT引入人工时间令牌、时间与年龄嵌入连同概念嵌入，以及增加第二学习目标，代表了未来基于BERT的临床嵌入的一种有前景的方法。
引用
@article{arxiv.2111.08585,
title = {CEHR-BERT: Incorporating temporal information from structured EHR data to improve prediction tasks},
author = {Chao Pang and Xinzhuo Jiang and Krishna S Kalluri and Matthew Spotnitz and RuiJun Chen and Adler Perotte and Karthik Natarajan},
journal= {arXiv preprint arXiv:2111.08585},
year = {2021}
}