Clinical Camel：一种基于对话知识编码的开放专家级医学语言模型
计算与语言
2023-08-21 v2 人工智能
摘要
我们提出 Clinical Camel，一种专为临床研究设计的开放大语言模型（LLM）。Clinical Camel 使用 QLoRA 从 LLaMA-2 微调而来，在开放可用的医学 LLM 中于医学基准上取得 SOTA 性能。借助高效的单 GPU 训练，Clinical Camel 在所有评估基准的五样本评估中超越 GPT-3.5，包括 USMLE 样例考试 64.3%（GPT-3.5 为 58.5%）、PubMedQA 77.9%（60.2%）、MedQA 60.7%（53.6%）以及 MedMCQA 54.2%（51.0%）。除这些基准外，Clinical Camel 还展示了更广泛的能力，如合成合理的临床笔记。本工作引入对话知识编码，一种从稠密医学文本合成对话数据的新方法。尽管基准结果令人鼓舞，但在部署前，跨多样临床场景开展广泛而严格的人类评估以确定安全性至关重要。通过开放共享 Clinical Camel，我们希望促进透明协作的研究，致力于 LLM 在医疗领域的安全集成。有关可靠性、偏差及知识可能过时的重要挑战依然存在。尽管如此，开放方法所提供的透明度强化了未来临床应用所需的科学严谨性。
引用
@article{arxiv.2305.12031,
title = {Clinical Camel: An Open Expert-Level Medical Language Model with Dialogue-Based Knowledge Encoding},
author = {Augustin Toma and Patrick R. Lawler and Jimmy Ba and Rahul G. Krishnan and Barry B. Rubin and Bo Wang},
journal= {arXiv preprint arXiv:2305.12031},
year = {2023}
}
备注
for model weights, see https://huggingface.co/wanglab/