迈向训练用于麻醉学的中文大语言模型
计算与语言
2024-03-06 v1
摘要
医疗大语言模型（LLMs）近期因其显著的实用价值而受到关注。然而，大多数现有研究集中在通用医学领域，亟需对麻醉学等特定领域的 LLMs 进行深入研究。为了填补这一空白，我们介绍了 Hypnos，这是一种基于现有 LLMs（如 Llama）构建的中文麻醉模型。Hypnos 的贡献体现在三个方面：1）数据方面，例如利用 Self-Instruct 从当前 LLMs 获取的数据可能包含不准确之处。Hypnos 实施了一种交叉过滤策略以提高数据质量。该策略涉及使用一个 LLM 评估另一个 LLM 生成数据的质量，并过滤掉低质量数据。2）Hypnos 采用了一种从通用到专用的训练策略，首先使用通用医学数据对 LLMs 进行微调，随后使用专门来自麻醉学的数据进一步改进微调后的 LLMs。通用医学数据补充了麻醉学的医学专业知识，增强了 Hypnos 生成的有效性。3）我们引入了一个用于评估麻醉学医疗 LLM 的标准化基准。我们的基准包括来自互联网的公开实例和从医院获得的私有病例。在基准数据集上的指标、GPT-4 评估和人工评估中，Hypnos 在麻醉学领域优于其他医疗 LLMs。
引用
@article{arxiv.2403.02742,
title = {Towards Training A Chinese Large Language Model for Anesthesiology},
author = {Zhonghai Wang and Jie Jiang and Yibing Zhan and Bohao Zhou and Yanhong Li and Chong Zhang and Liang Ding and Hua Jin and Jun Peng and Xu Lin and Weifeng Liu},
journal= {arXiv preprint arXiv:2403.02742},
year = {2024}
}