PropMEND：用于LLM中知识传播的超网络方法

大型语言模型（LLM）的知识编辑技术可以注入后续可逐字复现的知识，但在知识传播方面存在不足：模型无法回答需要利用注入知识进行推理的问题。我们提出了一种基于超网络的知识传播方法PropMEND，其中我们元学习如何修改语言建模损失的梯度，以鼓励注入信息传播。我们的方法扩展了MEND的元目标，使得知识上的梯度更新被转换以支持回答涉及该知识的多跳问题。我们在RippleEdit数据集上展示了改进的性能，在挑战性多跳问题（其答案未明确包含在注入事实中）上实现了近两倍的准确率。我们进一步引入了一个新数据集Controlled RippleEdit，用于评估超网络的泛化能力，测试知识传播沿训练期间未见过的关系和实体进行的情况。PropMEND在未见过的实体-关系对上仍然优于现有方法，但性能差距大幅缩小，表明未来需要在广泛的关系上传播知识。