EHRSHOT：用于基础模型少样本评估的电子健康记录基准
机器学习
2023-12-12 v3 人工智能
计算与语言
摘要
尽管通用机器学习（ML）界已受益于公共数据集、任务与模型，但医疗健康领域 ML 的进展却因缺乏此类共享资源而受阻。基础模型的成功通过要求访问共享的预训练模型以验证性能收益，给医疗健康 ML 带来了新挑战。我们通过三项贡献助力应对这些挑战。首先，我们发布一个新数据集 EHRSHOT，其包含来自斯坦福医学院 6,739 名患者电子健康记录（EHRs）的去标识化结构化数据。与 MIMIC-III/IV 及其他流行 EHR 数据集不同，EHRSHOT 是纵向的且不限于 ICU/ED 患者。其次，我们发布 CLMBR-T-base 的权重，这是一个在 257 万患者结构化 EHR 数据上预训练的 1.41 亿参数临床基础模型。我们是最早完整发布此类编码 EHR 数据模型的单位之一；相反，此前发布的大多数临床数据模型（如 GatorTron、ClinicalBERT）仅适用于非结构化文本，无法处理 EHR 中丰富的结构化数据。我们提供端到端流水线供社区验证并基于其性能构建。第三，我们定义了 15 个少样本临床预测任务，使基础模型在样本效率与任务适配等收益上的评估成为可能。我们的模型与数据集可通过我校研究数据使用协议获取：https://ehrshot.stanford.edu。复现结果的代码见于我们的 Github 仓库：https://github.com/som-shahlab/ehrshot-benchmark
引用
@article{arxiv.2307.02028,
title = {EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models},
author = {Michael Wornow and Rahul Thapa and Ethan Steinberg and Jason A. Fries and Nigam H. Shah},
journal= {arXiv preprint arXiv:2307.02028},
year = {2023}
}