关于先验的深思：知识图谱上可靠的大语言模型推理
计算与语言
2025-12-23 v3 信息检索
摘要
基于知识图谱的检索增强生成旨在缓解大型语言模型（LLM）因知识不足或过时而导致的幻觉问题。然而，现有方法往往未充分利用知识图谱中嵌入的先验知识，特别是其结构信息和显式或隐式约束。前者可提高 LLM 推理的忠实性，后者可提高响应生成的可靠性。鼓励我们提出一种可靠推理框架，称为 Deliberation over Priors（DP），充分利用知识图谱中的先验信息。具体而言，DP 采用渐进式知识蒸馏策略，通过监督微调和 Kahneman-Tversky 优化的组合，将结构先验整合到 LLM 中，从而提高关系路径生成的忠实性。此外，我们的框架采用推理-内省策略，指导 LLM 根据提取的约束先验进行细化推理验证，确保响应生成的可靠性。在三个基准数据集上的广泛实验表明，DP 实现了新的最佳性能，尤其在 ComplexWebQuestions 数据集上实现了 13% 的 Hit@1 提升，生成高度可靠的响应。我们还进行了各种分析，以验证其灵活性和实用性。代码已公开于 https://github.com/reml-group/Deliberation-on-Priors。
引用
@article{arxiv.2505.15210,
title = {Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs},
author = {Jie Ma and Ning Qu and Zhitao Gao and Rui Xing and Jun Liu and Hongbin Pei and Jiang Xie and Linyun Song and Pinghui Wang and Jing Tao and Zhou Su},
journal= {arXiv preprint arXiv:2505.15210},
year = {2025}
}
备注
Accepted by NeurIPS 2025