患者不是移动的文档：面向纵向电子健康记录的世界模型训练范式
人工智能
2026-01-30 v1 计算工程、金融与科学
定量方法
摘要
基于下一词预测训练的大语言模型（LLM）在临床基础模型方面取得了成功。来自这些语言 backbone 的表示在生物医学任务中表现出强大的线性探测性能，表明患者语义会从大规模的 next-token prediction 中涌现。然而，这种范式将患者当作需要被总结的文档，而非需要被模拟的动态系统；患者轨迹是其状态在干预和时间作用下演化的结果，需要能够模拟动态而非预测标记的模型。为此，我们引入 SMB-Structure，一种针对结构化 EHR 的世界模型，将联合嵌入预测架构（JEPA）与下一词预测（SFT）相结合。SFT 使我们的模型能够在标记空间中重建未来患者状态，而 JEPA 则从初始患者表示 alone 预测这些未来状态，迫使轨迹动态在观察到下一状态之前就被编码。我们在两个大型队列中进行验证：Memorial Sloan Kettering（23,319 名肿瘤患者；323,000+ 患者年）和 INSPECT（19,402 名肺栓塞患者）。使用在疾病轨迹上多个节点上评估的线性探测器，我们展示我们的训练范式学习到的嵌入能够捕捉疾病动态，这些动态是自回归基线所无法恢复的，从而使 SMB-Structure 能够在患者异质性较大的复杂任务上实现竞争性能。模型权重可在 https://huggingface.co/standardmodelbio/SMB-v1-1.7B-Structure 获取。
引用
@article{arxiv.2601.22128,
title = {The Patient is not a Moving Document: A World Model Training Paradigm for Longitudinal EHR},
author = {Irsyad Adam and Zekai Chen and David Laprade and Shaun Porwal and David Laub and Erik Reinertsen and Arda Pekis and Kevin Brown},
journal= {arXiv preprint arXiv:2601.22128},
year = {2026}
}