通过下一访诊预测扩展再生感知基础模型用于临床记录
机器学习
2026-04-21 v2
摘要
虽然大规模预训练已彻底变革语言建模，但其潜力在结构化电子健康记录（EHR）方面仍未充分探索。我们提出RAVEN（Recurrence-Aware next-Visit EveNt prediction），一种基于再生感知的序列 EHR 数据新型生成式预训练策略。利用超过百万名唯一患者的数据集，我们的模型学习了对患者历史的条件下，自回归生成下一个访问的标记化临床事件。我们对预测重复事件引入了正则化，并揭示了 EHR 基础模型评估中的一个关键误区：若不区分新发事件和后续发生的事件，重复事件标记会人为抬高性能指标。此外，我们经验性地研究了在数据受限、计算饱和的 regime下模型规模的扩展行为，表明仅增加模型规模而不配套增加数据量是次优的。我们通过零样本预测评估了我们的模型，用于预测一 Diverse 疾病发病率，其中它与完全微调的基于表示的 Transformer 模型相当，并优于标准基于下一个标记的方法和一个提示下医疗大型语言模型基准。最后，在不进行额外参数更新的情况下，我们展示了RAVEN可在外部患者队列下推广，尽管临床代码映射不完整且特征覆盖存在差距。
引用
@article{arxiv.2603.24562,
title = {Scaling Recurrence-aware Foundation Models for Clinical Records via Next-Visit Prediction},
author = {Haresh Rengaraj Rajamohan and Xiang Gao and Weicheng Zhu and Shih-Lun Huang and Long Chen and Gabe Schulman and Huizhen Jin and Shengduo Li and Yixuan Wang and Huidi Yang and Kyunghyun Cho and Cem M. Deniz and Narges Razavian},
journal= {arXiv preprint arXiv:2603.24562},
year = {2026}
}