基于电子健康记录上生成式预训练 Transformer 的零样本医疗事件预测
机器学习
2025-07-09 v2 人工智能
摘要
电子健康记录 (EHR) 中的纵向数据通过一系列编码概念（包括诊断、手术、药物和实验室检查）来表示个体的临床病史。生成式预训练 Transformer (GPT) 可以利用这些数据来预测未来事件。虽然对这些模型进行微调可以提高特定任务的性能，但将其应用于众多临床预测任务时成本高昂。相比之下，预训练基础模型可用于零样本预测场景，为针对每个结果微调单独的模型提供了可扩展的替代方案。本研究对 EHR 中基于 GPT 的基础模型的零样本预测进行了首次全面分析，提出了一种将医疗概念预测表述为生成式建模任务的新颖流程。与需要大量标记数据的监督方法不同，我们的方法使模型能够纯粹从预训练知识中预测下一个医疗事件。我们评估了模型在多个时间跨度和临床类别上的性能，证明了模型在无任务监督的情况下捕捉潜在时间依赖关系和复杂患者轨迹的能力。使用精确率和召回率指标评估了模型预测下一个医疗概念的性能，平均 top1 精确率达到 0.614，召回率达到 0.524。对于 12 种主要诊断病情，该模型展现出强大的零样本性能，在保持低假阳性的同时实现了高真阳性率。我们展示了 EHR GPT 基础模型在捕捉多样化表型和实现临床结果稳健零样本预测方面的能力。这一能力增强了预测性医疗模型的多功能性，并减少了对特定任务训练的需求，从而在临床场景中实现更具可扩展性的应用。
引用
@article{arxiv.2503.05893,
title = {Zero-shot Medical Event Prediction Using a Generative Pre-trained Transformer on Electronic Health Records},
author = {Ekaterina Redekop and Zichen Wang and Rushikesh Kulkarni and Mara Pleasure and Aaron Chin and Hamid Reza Hassanzadeh and Brian L. Hill and Melika Emami and William Speier and Corey W. Arnold},
journal= {arXiv preprint arXiv:2503.05893},
year = {2025}
}