使大语言模型在知识图谱补全中表现更优
计算与语言
2024-04-16 v2
摘要
基于大语言模型（LLM）的知识图谱补全（KGC）旨在利用LLM预测知识图谱中缺失的三元组。然而，关于基于LLM的KGC的研究未能充分挖掘LLM的推理能力，忽视了知识图谱固有的关键结构信息。本文中，我们探索将结构信息注入LLM的方法，总体目标是促进结构感知推理。我们首先讨论上下文学习与指令微调等现有LLM范式，提出基础的结构信息注入途径。随后提出知识前缀适配器（KoPA）以实现所述目标。KoPA采用结构预训练阶段来理解知识图谱中复杂的实体与关系，将其表示为结构嵌入。然后KoPA通过知识前缀适配器将此类跨模态结构信息理解传递给LLM，该适配器将结构嵌入投影至文本空间，并获得作为输入提示前缀的虚拟知识令牌。我们进行了全面实验，并就跨模态结构信息的引入如何更好地提升LLM事实知识推理能力提供了深刻分析。我们的代码与数据见 https://github.com/zjukg/KoPA 。
引用
@article{arxiv.2310.06671,
title = {Making Large Language Models Perform Better in Knowledge Graph Completion},
author = {Yichi Zhang and Zhuo Chen and Lingbing Guo and Yajing Xu and Wen Zhang and Huajun Chen},
journal= {arXiv preprint arXiv:2310.06671},
year = {2024}
}
备注
Working in progress