统一大语言模型与知识图谱：路线图
计算与语言
2024-01-26 v3 人工智能
摘要
大语言模型（LLMs），如ChatGPT和GPT4，因其涌现能力和泛化性，正在自然语言处理和人工智能领域掀起新浪潮。然而，LLMs是黑盒模型，往往难以捕捉和获取事实知识。相比之下，知识图谱（KGs），例如维基百科和Huapu，是显式存储丰富事实知识的结构化知识模型。KGs可通过提供外部知识用于推理和可解释性来增强LLMs。同时，KGs难以构建且天然演化，这对KGs中生成新事实和表示未知知识的现有方法提出挑战。因此，将LLMs与KGs统一并同时利用二者优势是互补的。在本文中，我们提出一个面向LLMs与KGs统一的前瞻性路线图。我们的路线图包含三个通用框架，即：1）KG增强LLMs，在LLMs的预训练和推理阶段融入KGs，或用于增强对LLMs所学知识的理解；2）LLM增强KGs，利用LLMs完成不同的KG任务，如嵌入、补全、构建、图生文本和问答；3）LLMs与KGs协同，其中LLMs和KGs扮演平等角色并以互利方式工作，在数据和知识共同驱动下增强二者以实现双向推理。我们在路线图中回顾并总结了这三个框架内的现有工作，并指出其未来研究方向。
引用
@article{arxiv.2306.08302,
title = {Unifying Large Language Models and Knowledge Graphs: A Roadmap},
author = {Shirui Pan and Linhao Luo and Yufei Wang and Chen Chen and Jiapu Wang and Xindong Wu},
journal= {arXiv preprint arXiv:2306.08302},
year = {2024}
}
备注
A short version of this paper was accepted by IEEE Transactions on Knowledge and Data Engineering (TKDE)