医疗机构基于电子健康记录训练大语言模型的考量
计算机与社会
2023-09-25 v1 人工智能
计算与语言
摘要
诸如 ChatGPT 之类的大语言模型（LLMs）令各领域的科学家感到兴奋；在医学领域，一个令人兴奋之处是基于电子健康记录（EHR）数据训练的 LLM 的潜在应用。但如果医疗机构有兴趣让其自有数据训练 LLM，我们必须首先回答一些棘手问题：应从头训练 LLM 还是基于开源模型微调？对于预算既定的医疗机构，它们能负担得起的最大 LLM 是哪些？在本研究中，我们通过对使用 EHR 数据进行 LLM 训练的数据集规模、模型规模与成本的分析，朝回答这些问题迈出步骤。该分析提供了一个从数据规模、计算规模与训练预算方面思考这些问题的框架。
引用
@article{arxiv.2309.12339,
title = {Considerations for health care institutions training large language models on electronic health records},
author = {Weipeng Zhou and Danielle Bitterman and Majid Afshar and Timothy A. Miller},
journal= {arXiv preprint arXiv:2309.12339},
year = {2023}
}