面向医疗系统规模的多模态时序基础模型：虚拟患者表征
机器学习
2026-04-23 v2 人工智能
计算与语言
摘要
现代医学在各个数据孤岛中生成海量多模态数据，然而目前尚无模型能够将患者临床记录的全部广度与时序深度整合到统一的患者表征中。我们引入 Apollo，一款在来自美国大型医院系统的三十余年纵向医院记录上训练和评估的多模态时序基础模型，数据包含 250 亿条记录，覆盖 720 万名患者，代表 28 种医学模态和 12 major 医学专科。Apollo 学习了一个统一的表征空间，将超过 10 万种独特医学事件、图像和临床文本整合为统一表示。该\"医学概念图腾\"（atlas of medical concepts）形成了对整个患者护理旅程进行建模的计算基质，由结构化和非结构化事件组成的序列被 Apollo 压缩为虚拟患者表征。为了评估这些全患者表征的潜力，我们从 140 万名患者中挑选出 322 项预后和检索任务。我们展示了 Apollo 嵌入在广义临床预测中的潜力，包括预测 5 年前的新疾病发生风险（95 项任务）、疾病进展（78 项任务）、治疗反应（59 项任务）、治疗相关不良事件风险（17 项任务）以及医院运营端点（12 项任务）。使用特征归因技术，我们显示模型预测与临床可解释的多模态生物标志物一致。我们对 61 项检索任务进行了语义相似性搜索评估，并进一步展示了 Apollo 作为多模态医学搜索引擎的潜力，可使用文本和图像查询。总体而言，这些建模能力为可计算医学奠定了基础，使得患者护理的完整上下文能够被计算推理所访问。
引用
@article{arxiv.2604.18570,
title = {A multimodal and temporal foundation model for virtual patient representations at healthcare system scale},
author = {Andrew Zhang and Tong Ding and Sophia J. Wagner and Caiwei Tian and Ming Y. Lu and Rowland Pettit and Joshua E. Lewis and Alexandre Misrahi and Dandan Mo and Long Phi Le and Faisal Mahmood},
journal= {arXiv preprint arXiv:2604.18570},
year = {2026}
}