基于自适应多维检索增强的大型语言模型知识图谱问答
计算与语言
2025-01-07 v2
摘要
大型语言模型（LLM）展现出惊人的能力，但在面对复杂知识推理任务时会出现幻觉和知识过时的问题，导致输出事实错误。以往研究尝试从大规模知识图谱（KG）检索事实性知识，以辅助 LLM 进行逻辑推理和答案预测。然而，这种方法在多知识维度上下文丰富的情况下常引入噪声和无关数据，可能导致 LLM 注意力偏离问题和相关信息。为此，我们提出一种自适应多维检索增强框架（Amar），该方法检索包括实体、关系和子图等知识，并将每 piece 检索到的文本转换为提示嵌入。Amar 框架包含两个关键子组件：1）自对齐模块，对实体、关系和子图之间的共性进行对齐，以增强检索文本，减少噪声干扰；2）相关性门控模块采用软门机制学习问题与多维检索数据之间的相关性得分，以确定应用于增强 LLM 输出的知识信息，甚至可被过滤。我们的方法在两个常见数据集 WebQSP 和 CWQ 上实现了状态突破性能，相较于最佳�争方法在准确率上提升 1.9%，相较于直接将检索文本用作上下文提示的方法在逻辑形式生成上提升 6.6%。这些结果表明 Amar 在提升 LLM 推理方面具有有效性。
引用
@article{arxiv.2412.18537,
title = {Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation},
author = {Derong Xu and Xinhang Li and Ziheng Zhang and Zhenxi Lin and Zhihong Zhu and Zhi Zheng and Xian Wu and Xiangyu Zhao and Tong Xu and Enhong Chen},
journal= {arXiv preprint arXiv:2412.18537},
year = {2025}
}
备注
Accepted by AAAI'2025