利用基于大语言模型的树状组织自反思检索改进中医问答
计算与语言
2025-02-14 v1
摘要
目的：大语言模型 (LLMs) 可以利用医学知识进行智能问答 (Q&A)，有望为辅助诊断和医学人才培养提供支持。然而，在中医 (TCM) 领域内，缺乏高效的检索增强生成 (RAG) 框架。我们的目的是观察树状组织自反思检索 (TOSRR) 框架在中医问答任务中对 LLMs 的影响。材料与方法：我们引入了知识组织的新方法，构建了一个具有层次结构的树状知识库。在推理时，我们的自反思框架从这个知识库中检索信息，整合跨章节的信息。从中医执业医师资格考试 (MLE) 和大学经典课程考试 (CCE) 中随机选取问题作为基准数据集。结果：通过与 GPT-4 结合，该框架在中医 MLE 基准上的最佳绝对准确率提高了 19.85%，在 CCE 数据集上的召回准确率从 27% 提高到 38%。在人工评估中，该框架在安全性、一致性、可解释性、合规性和连贯性等维度上总共提高了 18.52 分。结论：TOSRR 框架能够有效提升 LLM 在中医问答任务中的能力。
引用
@article{arxiv.2502.09156,
title = {Improving TCM Question Answering through Tree-Organized Self-Reflective Retrieval with LLMs},
author = {Chang Liu and Ying Chang and Jianmin Li and Yiqian Qu and Yu Li and Lingyong Cao and Shuyuan Lin},
journal= {arXiv preprint arXiv:2502.09156},
year = {2025}
}