HuatuoGPT：驯化语言模型成为医生
计算与语言
2023-05-25 v1 人工智能
摘要
在本文中，我们提出HuatuoGPT，一个用于医疗咨询的大语言模型（LLM）。HuatuoGPT的核心策略是在监督微调阶段同时利用来自ChatGPT的蒸馏数据和来自医生的真实世界数据。ChatGPT的回复通常详尽、表述良好且信息丰富，但它在许多方面无法像医生一样表现，例如综合诊断。我们认为，来自医生的真实世界数据可以补充蒸馏数据，因为前者能够驯化蒸馏语言模型以像医生一样表现。为了更好地利用两类数据的优势，我们训练了一个奖励模型，以RLAIF（基于AI反馈的强化学习）的方式使语言模型与两类数据带来的优点对齐。为评估和基准测试模型，我们提出了一种综合评估方案（包括自动和人工指标）。实验结果表明，HuatuoGPT在GPT-4评估、人工评估和医疗基准数据集上，于开源LLMs中实现了医疗咨询的SOTA结果。值得注意的是，通过使用额外的真实世界数据和RLAIF，蒸馏语言模型（即HuatuoGPT）在大多数情况下优于其教师模型ChatGPT。我们的代码、数据和模型已在 https://github.com/FreedomIntelligence/HuatuoGPT 公开可用。在线演示可在 https://www.HuatuoGPT.cn/ 获取。
引用
@article{arxiv.2305.15075,
title = {HuatuoGPT, towards Taming Language Model to Be a Doctor},
author = {Hongbo Zhang and Junying Chen and Feng Jiang and Fei Yu and Zhihong Chen and Jianquan Li and Guiming Chen and Xiangbo Wu and Zhiyi Zhang and Qingying Xiao and Xiang Wan and Benyou Wang and Haizhou Li},
journal= {arXiv preprint arXiv:2305.15075},
year = {2023}
}