图上的解码：通过生成良构链实现知识图谱上的忠实且合理的推理
计算与语言
2024-10-25 v1
摘要
知识图谱（KGs）因其结构化的知识表示，可以作为问答（QA）的可靠知识来源。现有关于将KG用于大语言模型（LLMs）的研究普遍依赖于子图检索器或迭代提示，忽视了LLMs的逐步推理能力与KG结构性质之间的潜在协同作用。在本文中，我们提出了DoG（Decoding on Graphs），一个促进LLMs与KGs深度协同的新框架。我们首先定义了一个概念——良构链，它由KG上从问题实体开始并导向答案的一系列相互关联的事实三元组组成。我们认为这个概念可以作为实现忠实且合理的KGQA推理的原则。为了使LLMs能够生成良构链，我们提出了图约束解码，其中源自KG拓扑的约束调节LLMs的解码过程。这种约束解码方法在充分利用LLMs逐步推理能力的同时，确保了良构链的生成。基于上述内容，DoG作为一种无需训练的方法，能够提供基于KG的忠实且合理的推理轨迹。在多个KGQA任务上的实验表明，DoG取得了优越且稳健的性能。DoG还展示了与各种开源LLMs的广泛适用性。
关键词
引用
@article{arxiv.2410.18415,
title = {Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains},
author = {Kun Li and Tianhua Zhang and Xixin Wu and Hongyin Luo and James Glass and Helen Meng},
journal= {arXiv preprint arXiv:2410.18415},
year = {2024}
}