IvyGPT：医疗领域交互式中文路径语言模型
计算与语言
2023-07-21 v1 人工智能
摘要
ChatGPT 等通用大语言模型（LLM）已展现出显著的成功。然而，由于准确性差且无法提供医疗建议，此类 LLM 尚未被广泛用于医疗目的。我们提出了 IvyGPT，这是一个基于 LLaMA 的 LLM，使用高质量医疗问答（QA）实例和基于人类反馈的强化学习（RLHF）进行训练和微调。经过监督微调后，IvyGPT 具备良好的多轮对话能力，但在其他方面（如综合诊断）无法像医生一样表现。通过 RLHF，IvyGPT 能够输出更丰富、更接近人类的诊断和治疗回答。在训练中，我们使用 QLoRA 在少量 NVIDIA A100（80GB）GPU 上训练了 330 亿参数。实验结果表明，IvyGPT 优于其他医疗 GPT 模型。
引用
@article{arxiv.2307.10512,
title = {IvyGPT: InteractiVe Chinese pathwaY language model in medical domain},
author = {Rongsheng Wang and Yaofei Duan and ChanTong Lam and Jiexi Chen and Jiangsheng Xu and Haoming Chen and Xiaohong Liu and Patrick Cheong-Iao Pang and Tao Tan},
journal= {arXiv preprint arXiv:2307.10512},
year = {2023}
}
备注
5 pages, 3 figures