中文

BiPETE:面向酒精和药物使用障碍风险评估的双位置嵌入变换编码器

机器学习 2025-11-10 v1 人工智能 定量方法

摘要

变换器基深度学习模型在使用电子健康记录(EHR)进行疾病风险预测方面显示出前景,但由于不可规则的访问间隔和缺乏统一结构,仍面临建模时间依赖性的挑战。我们提出了一种双位置嵌入变换器编码器(BiPETE),用于单疾病预测,将旋转位置嵌入用于编码相对访问时间,将正弦嵌入用于保留访问顺序。无需依赖大规模预训练,BiPETE 在来自两种精神健康队列(抑郁症和创伤后压力障碍,PTSD)的 EHR 数据上进行训练,用于预测酒精和药物使用障碍(ASUD)的风险。BiPETE 在抑郁症和 PTSD 队列中分别将 AUPRC 提升了 34% 和 50%。消融研究进一步确认了双位置编码策略的有效性。我们应用 Integrated Gradients 方法解释模型预测,识别出与 ASUD 风险和保护相关的关键临床特征,包括异常炎症、血液学和代谢标记物,以及特定药物和合并症。总体而言,这些由归因方法识别的关键临床特征有助于深入理解风险评估过程,为减轻潜在风险提供有价值的线索。总之,我们的研究提出了一种实用且可解释的疾病风险预测框架,可使用 EHR 数据实现卓越的性能。

关键词

引用

@article{arxiv.2511.04998,
  title  = {BiPETE: A Bi-Positional Embedding Transformer Encoder for Risk Assessment of Alcohol and Substance Use Disorder with Electronic Health Records},
  author = {Daniel S. Lee and Mayra S. Haedo-Cruz and Chen Jiang and Oshin Miranda and LiRong Wang},
  journal= {arXiv preprint arXiv:2511.04998},
  year   = {2025}
}

备注

20 pages, 2 figures, 6 tables, 2 supplementary figures, 4 supplementary tables, submitted to Journal of Biomedical Informatics on 6 Nov, 2025