知识局部化是否成立？语言模型中实体与关系视角的惊人差异

大型语言模型封装了知识，并在各种自然语言处理任务中表现出卓越性能。近期研究将这些知识定位到特定的模型参数，例如中间层的MLP权重。本研究通过知识编辑探讨了实体知识与关系知识之间的差异。我们的发现揭示，实体知识和关系知识不能直接相互转移或映射。这一结果出乎意料，因为从逻辑上讲，修改同一知识三元组中的实体或关系应产生等效的结果。为了进一步阐明实体知识与关系知识之间的差异，我们采用因果分析来研究关系知识如何存储在预训练模型中。与先前认为知识存储在MLP权重中的研究相反，我们的实验表明，关系知识也显著编码在注意力模块中。这一见解突显了语言模型中知识存储的多面性，强调了在这些模型中操纵特定类型知识的复杂性。