HOLMES：利用大语言模型进行多跳问答的超关系知识图谱
计算与语言
2024-06-11 v1
摘要
给定非结构化文本，大语言模型（LLM）擅长回答简单（单跳）问题。然而，随着问题复杂度的增加，LLM的性能会下降。我们认为这是由于理解复杂问题，随后在原始文本中过滤和聚合非结构化信息所带来的开销。近期方法试图通过将结构化知识三元组集成到原始文本中来减轻这一负担，旨在提供一种简化信息处理的结构化概览。然而，这种简单方法是查询无关的，且提取的事实因缺乏上下文而存在歧义。为解决这些缺点并使LLM能够轻松回答复杂（多跳）问题，我们提出使用一种上下文感知且经过精炼以包含查询相关信息的知识图谱（KG）。与最先进（SoTA）方法相比，使用我们压缩后的精炼KG作为LLM输入，使得我们的方法在表示支持文档中的查询相关信息时，使用的令牌数最多减少67%。我们的实验在两个流行的基准数据集（HotpotQA和MuSiQue）上，在多个指标（EM、F1、BERTScore和人工评估）上均显示出相对于SoTA的一致改进。
引用
@article{arxiv.2406.06027,
title = {HOLMES: Hyper-Relational Knowledge Graphs for Multi-hop Question Answering using LLMs},
author = {Pranoy Panda and Ankush Agarwal and Chaitanya Devaguptapu and Manohar Kaul and Prathosh A P},
journal= {arXiv preprint arXiv:2406.06027},
year = {2024}
}
备注
Accepted at ACL 2024 in the main track