ChiMed-GPT：一种采用完整训练流程且更好对齐人类偏好的中文医疗大语言模型
计算与语言
2024-07-17 v3
摘要
近来，对优质医疗服务日益增长的需求凸显了医疗基础设施中的差距。大数据（尤其是文本）构成了医疗服务的基础，因此迫切需要在医疗领域定制有效的自然语言处理（NLP）解决方案。利用预训练模型的传统方法在该领域展现出有前景的结果，而当前的大语言模型（LLMs）为医疗文本处理提供了先进的基础。然而，大多数医疗LLM仅通过监督微调（SFT）进行训练，尽管SFT能高效赋予LLM理解和响应医疗指令的能力，但在学习领域知识及对齐人类偏好方面效果不佳。本工作中，我们提出ChiMed-GPT，一种专为中文医疗领域设计的基准LLM，并经历了包含预训练、SFT和RLHF的综合训练流程。在信息抽取、问答和对话生成等任务上的评估表明，ChiMed-GPT相对于通用领域LLM具有更优性能。此外，我们通过提示ChiMed-GPT完成有关患者歧视的态度量表来分析可能的偏见，以期为医疗领域LLM的进一步负责任发展做出贡献。代码与模型发布于 https://github.com/synlp/ChiMed-GPT。
引用
@article{arxiv.2311.06025,
title = {ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences},
author = {Yuanhe Tian and Ruyi Gan and Yan Song and Jiaxing Zhang and Yongdong Zhang},
journal= {arXiv preprint arXiv:2311.06025},
year = {2024}
}
备注
18 pages, 3 figures; Accepted by ACL-2024