给我们事实：利用知识图谱增强大型语言模型以实现事实感知语言建模
计算与语言
2024-01-31 v2 人工智能
摘要
最近，ChatGPT 作为代表性大型语言模型 (LLM)，因其强大的涌现能力而受到广泛关注。一些研究人员认为，LLM 可能会取代知识图谱 (KGs) 等结构化知识库，并充当参数化知识库。然而，虽然 LLM 擅长基于大型语料库学习概率语言模式并与人类进行对话，但它们与以前较小的预训练语言模型 (PLMs) 一样，在生成知识驱动内容时仍然难以回忆起事实。为了克服这些限制，研究人员提出用基于知识的 KGs 来增强数据驱动的 PLMs，从而将显式事实知识纳入 PLMs，进而提高它们生成需要事实知识的文本的性能，并为用户查询提供更充分知情的回答。本文回顾了用 KGs 增强 PLMs 的研究，详细介绍了现有的知识图谱增强预训练语言模型 (KGPLMs) 及其应用。受现有 KGPLM 研究的启发，本文提出通过开发知识图谱增强大型语言模型 (KGLLMs) 来用 KGs 增强 LLMs。KGLLM 提供了一种增强 LLMs 事实推理能力的解决方案，为 LLM 研究开辟了新途径。
引用
@article{arxiv.2306.11489,
title = {Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling},
author = {Linyao Yang and Hongyang Chen and Zhao Li and Xiao Ding and Xindong Wu},
journal= {arXiv preprint arXiv:2306.11489},
year = {2024}
}