基于Transformer与本体表示的序列诊断预测
机器学习
2021-09-08 v1 人工智能
摘要
电子健康记录(EHR)上的序列诊断预测已被证明在医学领域的预测分析中至关重要。EHR数据是患者与医疗系统交互的序列记录,具有时间性、不规则性和数据不足等诸多固有特征。一些近期工作通过利用EHR数据中的序列信息来训练医疗预测模型,但它们易受具有入院/出院状态的不规则、时序EHR数据以及数据不足的影响。为缓解此问题,我们提出了一种名为SETOR的端到端鲁棒基于transformer的模型,其利用神经常微分方程处理患者就诊间带入院时间戳的不规则间隔及每次就诊的停留时长,通过整合医学本体缓解数据不足的局限,并采用多层transformer模块捕捉患者各次就诊间的依赖关系。在两个真实世界医疗数据集上的实验表明,我们的序列诊断预测模型SETOR无论在训练数据充足与否的情况下,均取得优于先前state-of-the-art方法的预测结果,且能导出更具可解释性的医疗编码嵌入。实验代码可在GitHub仓库(https://github.com/Xueping/SETOR)获取。
引用
@article{arxiv.2109.03069,
title = {Sequential Diagnosis Prediction with Transformer and Ontological Representation},
author = {Xueping Peng and Guodong Long and Tao Shen and Sen Wang and Jing Jiang},
journal= {arXiv preprint arXiv:2109.03069},
year = {2021}
}
备注
10 pages, 5 figures, Accepted by IEEE ICDM 2021. arXiv admin note: text overlap with arXiv:2107.09288