结合大语言模型与知识图谱以减少问答系统中的幻觉问题
计算与语言
2025-11-12 v3
摘要
然而,自然语言处理领域的进步虽然 revolutionized了我们与数字信息系统(如数据库)进行交互的方式,使其更加易于访问。然而,在准确性至关重要的领域(如生物医学领域),仍存在挑战。一个关键问题是幻觉问题,即模型生成不受底层数据支持的信息,可能导致危险的误information。本文提出了一种新方法,旨在通过结合大语言模型 (LLM) 和知识图谱 (KG) 来提高问答系统的准确性和可靠性,以生物医学知识图谱为例。基于 LangChain 框架构建的该方法包含一个查询检查器,用于确保 LLM 生成查询的语法和语义有效性,这些查询随后用于从知识图谱中提取信息,显著减少如幻觉等错误。我们使用包含 50 个生物医学问题的新基准数据集进行评估,测试了包括 GPT-4 Turbo 和 llama3:70b 在内的多个 LLM。结果表明,虽然 GPT-4 Turbo 在生成准确查询方面优于其他模型,但具有适当提示工程的开源模型如 llama3:70b 也表现出色。为便于使用,我们开发了一个用户友好的基于网页的界面,允许用户输入自然语言查询,查看生成和纠正后的 Cypher 查询,并验证结果路径的准确性。总体而言,这种混合方法有效地解决了数据缺失和幻觉等常见问题,为问答系统提供了一个可靠且直观的解决方案。本论文结果及用户界面的源代码可在我们的 Git 仓库中找到:https://git.zib.de/lpusch/cyphergenkg-gui
引用
@article{arxiv.2409.04181,
title = {Combining LLMs and Knowledge Graphs to Reduce Hallucinations in Question Answering},
author = {Larissa Pusch and Tim O. F. Conrad},
journal= {arXiv preprint arXiv:2409.04181},
year = {2025}
}