图思维链：通过图推理增强大型语言模型
计算与语言
2024-10-04 v3 信息检索
机器学习
摘要
大型语言模型（LLM）虽然表现出色，但存在幻觉问题，尤其是在知识密集型任务中。现有工作提出通过从外部知识语料库中检索单个文本单元来增强 LLM，以缓解该问题。然而，在许多领域中，文本是相互关联的（例如，书目引文图中的学术论文通过引用和合著关系相连），从而形成（文本属性）图。此类图中的知识不仅编码在单个文本/节点中，也编码在它们的关联连接中。为了促进利用图增强 LLM 的研究，我们手动构建了一个名为 GRBench 的图推理基准数据集，包含 1,740 个可利用 10 个领域图中的知识来回答的问题。然后，我们提出了一个简单有效的框架——图思维链（Graph-CoT），通过鼓励 LLM 在图上迭代推理来用图增强 LLM。每次 Graph-CoT 迭代包含三个子步骤：LLM 推理、LLM-图交互和图执行。我们在 GRBench 上使用三种 LLM 主干进行了系统实验，其中 Graph-CoT 始终优于基线。代码可在 https://github.com/PeterGriffinJin/Graph-CoT 获取。
引用
@article{arxiv.2404.07103,
title = {Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs},
author = {Bowen Jin and Chulin Xie and Jiawei Zhang and Kashob Kumar Roy and Yu Zhang and Zheng Li and Ruirui Li and Xianfeng Tang and Suhang Wang and Yu Meng and Jiawei Han},
journal= {arXiv preprint arXiv:2404.07103},
year = {2024}
}
备注
21 pages. Code: https://github.com/PeterGriffinJin/Graph-CoT