利用知识图谱提示大型语言模型进行涉及长尾事实的问答
计算与语言
2024-05-13 v1
摘要
尽管大型语言模型在执行各种 NLP 任务方面表现出色，但在处理需要广泛现实世界知识的任务时仍然存在困难，尤其是在处理长尾事实（与长尾实体相关的事实）时。这一局限性凸显了用非参数知识补充 LLM 的必要性。为了解决这一问题，我们分析了不同类型非参数知识的效果，包括文本段落和知识图谱。由于 LLM 可能已经见过大多数事实型问答数据集，为了便于分析，我们提出了一条全自动流水线，用于创建一个需要长尾事实知识来回答相关问题的基准。利用该流水线，我们引入了 LTGen 基准。我们使用所提出的基准在不同知识设置下评估了 SOTA LLM。我们的实验表明，仅依靠 LLM 难以回答这些问题，尤其是在长尾程度较高或需要丰富知识时。尽管如此，当使用非参数知识进行提示时，相同模型的性能得到了显著提升。我们观察到，在大多数情况下，使用 SOTA 检索器时，用 KG 三元组提示 LLM 优于基于段落的提示。此外，虽然同时用 KG 三元组和文档提示 LLM 并不能持续提升知识覆盖率，但可以显著减少生成内容中的幻觉。
引用
@article{arxiv.2405.06524,
title = {Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts},
author = {Wenyu Huang and Guancheng Zhou and Mirella Lapata and Pavlos Vougiouklis and Sebastien Montella and Jeff Z. Pan},
journal= {arXiv preprint arXiv:2405.06524},
year = {2024}
}