从关系视角评估语言模型中的知识编辑
计算与语言
2023-11-16 v1 人工智能
摘要
用于修改大语言模型（LLM）中事实知识的知识编辑（KE）正受到越来越多的关注。然而，现有知识编辑方法以实体为中心，尚不清楚该方法是否适用于以关系为中心的视角。为弥补这一空白，本文构建了一个名为 RaKE 的新基准，聚焦于基于关系的知识编辑（Relation based Knowledge Editing）。在本文中，我们建立了一套创新的评估指标，并开展了涉及多种知识编辑基线的综合实验。我们注意到，现有知识编辑方法在编辑关系的能力上表现出潜在的困难。因此，我们进一步探究了关系在 transformer 中事实三元组中的作用。我们的研究结果证实，与关系相关的知识不仅存储于 FFN 网络，也存储于注意力层。这为未来的基于关系的知识编辑方法提供了实验支撑。
引用
@article{arxiv.2311.09053,
title = {Assessing Knowledge Editing in Language Models via Relation Perspective},
author = {Yifan Wei and Xiaoyan Yu and Huanhuan Ma and Fangyu Lei and Yixuan Weng and Ran Song and Kang Liu},
journal= {arXiv preprint arXiv:2311.09053},
year = {2023}
}
备注
Work in progress