双线性表示缓解逆向诅咒并实现一致的模型编辑

逆向诅咒——即语言模型无法从已学习的事实“A 是 B”中推断出未见事实“B 是 A”——被广泛认为是一项根本性限制。我们表明，这并非固有的缺陷，而是模型编码知识方式的产物。我们的结果表明，在合成关系知识图谱上从头训练，会导致模型隐藏表示中出现双线性关系结构。该结构缓解了逆向诅咒，并促进了对未见逆向事实的推断。至关重要的是，这种双线性几何结构是一致模型编辑的基础：对单一事实的更新能正确传播至其逆向事实和逻辑依赖关系。相比之下，缺乏此表示的模型受困于逆向诅咒，无法泛化模型编辑，导致逻辑不一致。我们的结果确立，在关系知识数据集上训练会诱发双线性内部表示的出现，进而支持语言模型在编辑后表现出逻辑一致的行为。这表明，语言模型编辑的有效性不仅取决于算法的选择，还取决于知识本身的底层表示几何结构。