图增强推理：演化的分步知识图谱检索用于大语言模型推理
人工智能
2025-03-04 v1
摘要
近期大型语言模型 (LLM) 推理尽管取得了成功，却存在知识域范围有限、易产生幻觉以及在资源受限环境中推理深度受限的问题。本文首次探索将分步知识图谱检索与分步推理集成，以解决这些挑战，提出一种新型范式，称为图增强推理。我们的目标是使冻结的小规模 LLM 能够按步骤检索和处理相关数学知识，从而在无需额外训练的情况下提升其问题解决能力。为此，我们提出了 KG-RAR 框架，核心包括以过程为导向的知识图谱构建、分层检索策略以及通用的事后检索处理与奖励模型 (PRP-RM)，后者细化检索信息并评估每个推理步骤。在 Math500 和 GSM8K 基准测试上的实验表明，KG-RAR 取得令人鼓舞的结果，Llama-3B 在 Math500 上的相对提升达 20.73%。
引用
@article{arxiv.2503.01642,
title = {Graph-Augmented Reasoning: Evolving Step-by-Step Knowledge Graph Retrieval for LLM Reasoning},
author = {Wenjie Wu and Yongcheng Jing and Yingjie Wang and Wenbin Hu and Dacheng Tao},
journal= {arXiv preprint arXiv:2503.01642},
year = {2025}
}