知识图谱增强的大型语言模型编辑
计算与语言
2024-02-22 v1
摘要
大型语言模型（LLMs）在推动自然语言处理（NLP）任务方面发挥着关键作用，但其有效性受到不准确和过时知识的阻碍。模型编辑成为解决这些挑战的一个有前景的方案。然而，现有的编辑方法难以跟踪和整合与编辑相关的知识变化，这限制了编辑后 LLMs 在处理已编辑知识时的泛化能力。为解决这些问题，我们提出了一种利用知识图谱增强 LLM 编辑的新型模型编辑方法，即 GLAME。具体而言，我们首先利用知识图谱增强模块来揭示因编辑而发生变化的相关知识，获取其在 LLMs 内部的表示。这种方法使得 LLMs 内的知识变更能够通过外部图结构反映出来。随后，我们设计了一个基于图的知识编辑模块，将结构化知识整合到模型编辑中。这确保了更新的参数不仅反映已编辑知识的修改，还反映了编辑过程中其他相关知识的变更。在 GPT-J 和 GPT-2 XL 上进行的综合实验表明，GLAME 显著提高了编辑后 LLMs 在运用已编辑知识方面的泛化能力。
引用
@article{arxiv.2402.13593,
title = {Knowledge Graph Enhanced Large Language Model Editing},
author = {Mengqi Zhang and Xiaotian Ye and Qiang Liu and Pengjie Ren and Shu Wu and Zhumin Chen},
journal= {arXiv preprint arXiv:2402.13593},
year = {2024}
}