HuatuoGPT-II：面向LLM医学适配的单阶段训练
计算与语言
2024-09-17 v2 人工智能
机器学习
摘要
将语言模型适配到特定领域（即“领域适配”）是一种常见做法，当像Llama2这样的通用语言模型未封装专业知识（例如医学）时便需如此。挑战在于两个训练阶段数据的异质性，因其语言、体裁或格式各异。为解决此问题并简化学习协议，我们提议将来自预训练与监督阶段的异构数据转换为统一的、简单的输入-输出对格式。我们在专有LLM（如ChatGPT）表现相对较差的领域（如中医）验证了新协议。所开发的模型HuatuoGPT-II在多项基准（如医师资格考试）的中文医学领域展现出最先进性能。它甚至在某些方面超越ChatGPT和GPT-4等专有模型，尤其在中医方面。专家人工评估进一步验证了HuatuoGPT-II相对于现有LLM的优势。值得注意的是，HuatuoGPT-II在最新的中国国家医师资格考试中进行了基准测试，取得最佳表现，不仅展示其有效性，也体现其泛化能力。
引用
@article{arxiv.2311.09774,
title = {HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs},
author = {Junying Chen and Xidong Wang and Ke Ji and Anningzhe Gao and Feng Jiang and Shunian Chen and Hongbo Zhang and Dingjie Song and Wenya Xie and Chuyi Kong and Jianquan Li and Xiang Wan and Haizhou Li and Benyou Wang},
journal= {arXiv preprint arXiv:2311.09774},
year = {2024}
}