Think-on-Graph：大语言模型在知识图谱上的深度可信推理

尽管大语言模型（LLMs）在各种任务中取得了显著成功，它们常常受困于幻觉问题，尤其在需要深度且可信推理的场景中。这些问题可通过在LLM推理中引入外部知识图谱（KG）得到部分解决。在本文中，我们提出了一种新的LLM-KG融合范式“$\hbox{LLM}\otimes\hbox{KG}$”，该范式将LLM视为智能体，在KG上交互式探索相关实体与关系，并基于检索到的知识执行推理。我们通过引入一种称为Think-on-Graph（ToG）的新方法进一步实现了该范式，其中LLM智能体在KG上迭代执行束搜索，发现最有前景的推理路径，并返回最可能的推理结果。我们通过大量精心设计的实验检验并阐明了ToG的以下优势：1）与LLM相比，ToG具有更好的深度推理能力；2）ToG能够通过利用LLM推理与专家反馈实现知识可追溯性与知识可纠正性；3）ToG为不同的LLM、KG和提示策略提供了一个灵活的即插即用框架，无需任何额外训练成本；4）在某些场景中，使用小型LLM模型的ToG性能可超过如GPT-4等大型LLM，从而降低了LLM部署与应用成本。作为一种无训练、计算成本更低且通用性更好的方法，ToG在9个数据集中的6个上取得了总体SOTA，而此前大多数SOTA依赖于额外训练。