ConceptFormer：高效利用知识图谱嵌入的大型语言模型方法
计算与语言
2025-04-11 v1 人工智能
信息检索
摘要
检索增强生成（RAG）近期受到广泛关注，最新进展表明，将世界知识集成到这些系统中至关重要。当前的 RAG 方法通常修改预训练语言模型（PLM）的内部结构，或依赖将知识图谱（KG）文本化，这在 token 使用效率方面存在不足。本文引入 ConceptFormer，一种全新方法，用于无需修改其内部结构或依赖 KG 文本输入即可将结构化知识（如 Wikidata）增强到大型语言模型中。ConceptFormer 在 LLM 的嵌入向量空间中运行，创建并注入\emph{概念向量}，这些向量直接封装 KG 节点的信息。该方法旨在通过使 LLM 能够原生处理这些概念向量来增强其事实记忆能力，从而以高效且可扩展的方式将结构化世界知识注入模型。我们的实验表明，向 GPT-2 0.1B 模型添加概念向量可使其在来自维基百科句子上的事实记忆能力（Hit@10）提升最高可达 272%，在人工合成句子上提升最高可达 348%。即使仅注入单个概念向量也能使维基百科句子上的事实记忆能力（Hit@10）提升最高可达 213%，显著优于使用图文本化的 RAG 方法，同时仅需约 130 倍更少的输入 token。
引用
@article{arxiv.2504.07624,
title = {ConceptFormer: Towards Efficient Use of Knowledge-Graph Embeddings in Large Language Models},
author = {Joel Barmettler and Abraham Bernstein and Luca Rossetto},
journal= {arXiv preprint arXiv:2504.07624},
year = {2025}
}