面向知识图谱的轻量级推理框架LightPROF
人工智能
2025-04-07 v1 计算与语言
摘要
大型语言模型（LLM）在文本理解和零样本推理方面展现出惊人的能力。然而，由于知识更新存在延迟，这些模型可能会进行错误推理或产生有害结果。知识图谱（KG）通过结构化组织和连接广泛实体和关系，为LLM的推理过程提供丰富且可靠的上下文信息。现有基于KG的LLM推理方法仅以文本形式将KG知识注入提示，忽略了其结构信息。此外，这些方法大多依赖封闭式模型或参数规模较大的开源模型，带来了资源消耗较大的挑战。为此，我们提出一种 novel 的轻量级高效 Prompt learning-ReasOning 框架，用于KG问答（LightPROF），充分发挥LLM的潜力以参数高效方式解决复杂推理任务。具体而言，LightPROF遵循"检索-嵌入-推理"流程，首先通过检索模块准确稳定地检索出相应的推理图谱。随后，利用基于Transformer的知识适配器（Knowledge Adapter），精细提取并整合KG中的事实信息和结构信息，然后将其映射到LLM的token嵌入空间，创建供LLM用于最终推理的LLM友好提示。此外，LightPROF仅需训练知识适配器即可与任何开源LLM兼容。大量实验表明，LightPROF在两个公开KGQA基准数据集上实现了优异性能。进一步地，LightPROF在输入token数和推理时间方面具有显著优势。
引用
@article{arxiv.2504.03137,
title = {LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph},
author = {Tu Ao and Yanhua Yu and Yuling Wang and Yang Deng and Zirui Guo and Liang Pang and Pinghui Wang and Tat-Seng Chua and Xiao Zhang and Zhen Cai},
journal= {arXiv preprint arXiv:2504.03137},
year = {2025}
}
备注
This paper has been accepted by AAAI 2025