Paths-over-Graph：由知识图谱赋能的大语言模型推理

大语言模型（Large Language Model，LLM）在各类任务中取得了令人瞩目的成绩，但在幻觉问题和缺乏相关知识方面表现不足，尤其是在深层复杂推理和知识密集型任务中。知识图谱（Knowledge Graph，KG）以结构化格式捕获海量事实，为推理提供可靠的知识来源。然而，现有的KG驱动LLM推理方法面临处理多跳推理、多实体问题以及有效利用图结构等挑战。为解决这些问题，我们提出Paths-over-Graph（PoG），一种新方法，通过整合来自知识图谱的知识推理路径来增强LLM推理，提高LLM输出的可解释性和忠实性。PoG通过三阶段动态多跳路径探索来解决多跳和多实体问题，将LLM内在的知识与来自KG的事实知识相结合。为提高效率，PoG首先剪枝图探索中的无关信息，引入高效的三步剪枝技术，融合图结构、LLM提示和预训练语言模型（如SBERT），有效缩小探索的候选路径范围。这确保所有推理路径都包含来自KG捕获的高度相关信息，使推理在解决问题时具有忠实性和可解释性。PoG创新性地利用图结构消除无关噪声，是首个在KG上为LLM推理任务实现多实体深层路径检测的方法。针对五个基准知识图谱问答数据集进行全面实验，表明PoG在GPT-3.5-Turbo和GPT-4上均优于最先进方法ToG，平均准确率提升18.9%。值得注意的是，PoG使用GPT-3.5-Turbo的表现甚至超过ToG使用GPT-4，提升幅度最高可达23.9%。