岐伯：面向中医领域的大型语言模型
计算与语言
2024-06-25 v3 人工智能
摘要
大型语言模型在包括医学、法律和金融在内的多个专业领域取得了显著进展。然而，在中医领域，仍存在诸多挑战，如理论与现代医学的本质差异、专业语料库资源的匮乏，以及仅依赖监督微调可能导致过度自信的预测。为应对这些挑战，我们提出了一种结合连续预训练和监督微调的两阶段训练方法。本研究的一项显著贡献是处理了 2GB 的中医专用语料库，分别构建了中医的预训练和指令微调数据集。此外，我们开发了 Qibo-Benchmark，这是一个在主观、客观以及三个中医 NLP 任务等多个维度上评估 LLM 在中医领域性能的工具。使用我们的流程训练的医疗 LLM 命名为 ，展现出显著的性能提升。与基线相比，平均主观胜率达到 63%，平均客观准确率提升了 23% 至 58%，三个中医 NLP 任务的 Rouge-L 得分分别为 0.72、0.61 和 0.55。最后，我们提出了一套将 Qibo 应用于中医问诊的流程，并通过案例研究展示了模型性能。
引用
@article{arxiv.2403.16056,
title = {Qibo: A Large Language Model for Traditional Chinese Medicine},
author = {Heyi Zhang and Xin Wang and Zhaopeng Meng and Zhe Chen and Pengwei Zhuang and Yongzhe Jia and Dawei Xu and Wenbin Guo},
journal= {arXiv preprint arXiv:2403.16056},
year = {2024}
}