以知识图谱探究大语言模型的推理能力
计算与语言
2023-12-04 v1 人工智能
摘要
本文考察大语言模型(LLM)利用其内部知识图谱(即预训练期间所学到的知识图谱)进行知识图谱推理的能力。为研究 LLM 从预训练知识图谱中回忆信息的准确性及其从上下文推断知识图谱关系的能力,提出了两个研究问题。为解答这些问题,我们采用 LLM 执行四项不同的知识图谱推理任务。此外,我们识别出 LLM 在知识推理过程中可能出现的两类幻觉:内容幻觉与本体幻觉。实验结果表明,LLM 能够成功利用其自身记忆处理简单与复杂知识图谱推理任务,并能从输入上下文进行推断。
引用
@article{arxiv.2312.00353,
title = {On Exploring the Reasoning Capability of Large Language Models with Knowledge Graphs},
author = {Pei-Chi Lo and Yi-Hang Tsai and Ee-Peng Lim and San-Yih Hwang},
journal= {arXiv preprint arXiv:2312.00353},
year = {2023}
}
备注
Presented at the Generative-IR Workshop during SIGIR 2023. https://coda.io/@sigir/gen-ir