Hippocrates：推进医疗领域大型语言模型的开源框架
机器学习
2024-04-26 v1 人工智能
计算与语言
摘要
将大型语言模型（LLM）整合到医疗保健中有望彻底改变医疗诊断、研究和患者护理。然而，医疗 LLM 的发展面临着诸多障碍，如复杂的训练要求、严格的评估需求，以及限制学术探索的专有模型的主导地位。透明、全面地获取 LLM 资源对于推进该领域、促进可复现性以及鼓励医疗 AI 的创新至关重要。我们推出了 Hippocrates，一个专门为医疗领域开发的开源 LLM 框架。与以往的努力形成鲜明对比的是，它提供了对其训练数据集、代码库、检查点和评估协议的无限制访问。这种开放方法旨在激发协作研究，使社区能够在一个透明的生态系统中构建、改进和严格评估医疗 LLM。此外，我们介绍了 Hippo，一系列专为医疗领域定制的 7B 模型，它们通过持续预训练、指令微调以及基于人类和 AI 反馈的强化学习，从 Mistral 和 LLaMA2 微调而来。我们的模型以巨大优势超越了现有的开源医疗 LLM，甚至超过了具有 70B 参数的模型。通过 Hippocrates，我们渴望释放 LLM 的全部潜力，不仅是为了推进医疗知识和患者护理，也是为了使医疗 AI 研究的益处在全球范围内普及。
关键词
引用
@article{arxiv.2404.16621,
title = {Hippocrates: An Open-Source Framework for Advancing Large Language Models in Healthcare},
author = {Emre Can Acikgoz and Osman Batur İnce and Rayene Bench and Arda Anıl Boz and İlker Kesen and Aykut Erdem and Erkut Erdem},
journal= {arXiv preprint arXiv:2404.16621},
year = {2024}
}