探索电子健康记录基础模型的缩放律
计算与语言
2025-08-14 v2 人工智能
机器学习
摘要
缩放律的出现深刻地塑造了大语言模型（LLM）的发展，使得通过系统性地增加模型规模、数据集体量和计算量来获得可预测的性能提升成为可能。然而，这些原则在电子健康记录（EHR）的背景下很大程度上仍未被探索——EHR 是一种丰富的、序列化的且在全球范围内充足的数据源，在结构上不同于自然语言。在这项工作中，我们首次对 EHR 基础模型的缩放律进行了实证研究。通过在 MIMIC-IV 数据库的患者时间线数据上训练 Transformer 架构，并在不同的模型规模和计算预算下进行实验，我们识别出了一致的缩放模式，包括抛物线状的 IsoFLOPs 曲线，以及计算量、模型参数、数据规模和临床效用之间的幂律关系。这些发现表明，EHR 模型表现出与 LLM 类似的缩放行为，为资源高效的训练策略提供了预测性见解。我们的结果为开发强大的 EHR 基础模型奠定了基础，这些模型能够改变临床预测任务并推进个性化医疗。
引用
@article{arxiv.2505.22964,
title = {Exploring Scaling Laws for EHR Foundation Models},
author = {Sheng Zhang and Qin Liu and Naoto Usuyama and Cliff Wong and Tristan Naumann and Hoifung Poon},
journal= {arXiv preprint arXiv:2505.22964},
year = {2025}
}