大型知识模型:视角与挑战

人类对世界的理解从根本上与我们的感知和认知相联系,其中人类语言是世界知识的主要载体之一。在此脉络下,像ChatGPT这样的大型语言模型(LLM)体现了将广泛的、基于序列的世界知识预训练到神经网络中,从而在参数空间中促进对这种知识的处理与操纵。本文透过“知识”的视角探讨大型模型。我们首先研究了符号知识(如知识图谱(KG))在增强LLM中的作用,涵盖知识增强语言模型、结构诱导预训练、知识提示、结构化CoT、知识编辑、LLM语义工具和知识型AI智能体等方面。随后,我们考察了LLM如何促进传统的符号知识库,包括将LLM用作KG构建器和控制器、结构化知识预训练以及LLM增强的符号推理等方面。考虑到人类知识的复杂性,我们倡导创建大型知识模型(LKM),专门设计用于管理多样化的知识结构谱系。这一充满前景的事业将面临若干关键挑战,例如将知识库从语言模型中解耦、与人类知识的认知对齐、感知与认知的整合,以及构建用于与物理世界交互的大型常识模型等。最后,我们提出了一个“五A”(five-"A")原则来区分LKM的概念。