基于结构化医学知识库的知识微调大语言模型以实现中文可靠回复生成
计算与语言
2025-01-14 v1 人工智能
摘要
大语言模型（LLMs）在通用领域的多种自然语言处理（NLP）任务中取得了显著成功。然而，由于领域知识有限，LLMs 有时会在医学事实上产生幻觉回复。此类缺陷在医学语境下使用 LLMs 时带来了潜在风险。为应对这一挑战，我们提出知识微调（knowledge-tuning），利用结构化医学知识库使 LLMs 高效掌握领域知识并促进可靠回复生成。我们还发布了 cMedKnowQA，一个基于医学知识库构建的中文医学知识问答数据集，用于评估 LLMs 的医学知识熟练度。实验结果表明，经 cMedKnowQA 知识微调的 LLMs 相比原始指令微调（vanilla instruction-tuning）在回复生成中可展现出更高的准确性，并为 LLMs 的领域适配提供了一种新的可靠途径。
引用
@article{arxiv.2309.04175,
title = {Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Reliable Response Generation in Chinese},
author = {Haochun Wang and Sendong Zhao and Zewen Qiang and Zijian Li and Nuwa Xi and Yanrui Du and MuZhen Cai and Haoqiang Guo and Yuhan Chen and Haoming Xu and Bing Qin and Ting Liu},
journal= {arXiv preprint arXiv:2309.04175},
year = {2025}
}
备注
11 pages, 5 figures