基于图神经网络的检索方法用于 LLM 的问答
计算与语言
2024-10-21 v2 人工智能
信息检索
摘要
检索增强生成已彻底改变大型语言模型（LLM）输出的方式，通过提供事实依据。然而，它们在捕捉复杂推理问题所必需的全部知识方面仍存在困难。现有的检索方法通常将参考文档划分为段落，分别处理这些段落。然而，这些段落往往是相互关联的，例如，连续的段落或共享相同关键词的段落。因此，识别此类关联性对于增强检索过程至关重要。本文提出了一种新颖的检索方法，称为 GNN-Ret（图神经网络增强检索），它利用图神经网络（GNN）通过挖掘段落之间的关联性来增强检索。具体而言，我们首先通过连接结构相关或关键词相关的段落来构建段落图。然后，利用图神经网络（GNN）来探索段落之间的关系，从而提高获取支持段落的检索效果。此外，我们将该方法扩展到使用循环图神经网络（RGNN）处理多跳推理问题，称为 RGNN-Ret。在每一步中，RGNN-Ret 整合前几步的段落图，从而增强获取支持段落的检索。大量实验在基准数据集上进行，表明 GNN-Ret 在不使用多次查询的情况下，比需要多次查询的强大基线在问答准确率上取得更高成绩，RGNN-Ret 进一步提升了准确率并实现了最先进的性能，在 2WikiMQA 数据集上准确率提升最高可达 10.4%。
引用
@article{arxiv.2406.06572,
title = {Graph Neural Network Enhanced Retrieval for Question Answering of LLMs},
author = {Zijian Li and Qingyan Guo and Jiawei Shao and Lei Song and Jiang Bian and Jun Zhang and Rui Wang},
journal= {arXiv preprint arXiv:2406.06572},
year = {2024}
}
备注
Under review