KG-Rank：利用知识图谱与排序技术增强医学问答中的大语言模型
计算与语言
2024-07-08 v3
摘要
大语言模型（LLM）展现出了令人印象深刻的生成能力，具有在医学领域创新的潜力。然而，由于生成内容缺乏事实一致性，LLM 在真实临床环境中的应用仍具挑战性。在这项工作中，我们开发了一个增强型 LLM 框架 KG-Rank，它利用医学知识图谱（KG）以及排序和重排序技术，来提高医学领域长文本问答（QA）的事实性。具体而言，当接收到一个问题时，KG-Rank 会自动识别问题中的医学实体，并从医学 KG 中检索相关的三元组以收集事实信息。随后，KG-Rank 创新性地应用多种排序技术来优化这些三元组的顺序，为 LLM 推理提供更相关和精确的信息。据我们所知，KG-Rank 是首次在医学 QA 中将 KG 与排序模型相结合以专门生成长答案的应用。在四个选定的医学 QA 数据集上的评估表明，KG-Rank 在 ROUGE-L 分数上实现了超过 18% 的提升。此外，我们将 KG-Rank 扩展到包括法律、商业、音乐和历史在内的开放领域，其 ROUGE-L 分数实现了 14% 的提升，表明了 KG-Rank 的有效性和巨大潜力。
引用
@article{arxiv.2403.05881,
title = {KG-Rank: Enhancing Large Language Models for Medical QA with Knowledge Graphs and Ranking Techniques},
author = {Rui Yang and Haoran Liu and Edison Marrese-Taylor and Qingcheng Zeng and Yu He Ke and Wanxin Li and Lechao Cheng and Qingyu Chen and James Caverlee and Yutaka Matsuo and Irene Li},
journal= {arXiv preprint arXiv:2403.05881},
year = {2024}
}
备注
12 pages, 9 figures, 8 tables