MetaKE：面向更好准确率-可编辑性权衡的知识编辑元学习

现有的 locate-then-edit 知识编辑 (KE) 方法通常将编辑分解为两个阶段：上游目标表示优化和下游受约束的参数优化。两个阶段之间的优化是相互独立的：上游应用统一的正则化，而不考虑下游对计划剩余的实现，从而阻碍了精细的准确率-可编辑性权衡。由于这种实现是特定于请求的，并且取决于下游约束，统一的正则化会对高关联请求进行过度收缩，导致编辑不足；而对低关联请求则可能不足以正则化，产生过大的计划剩余，降低下游的可编辑性。为弥合这一断层，我们提出 MetaKE (Meta-learning for Knowledge Editing)，一种新的框架，将上游和下游阶段统一为一个双层优化问题。内层优化目标表示的参数更新，而外层利用来自下游约束的反馈来优化表示，从而实现更好的语义准确率-可编辑性权衡。为避免高成本的多层反向传播，我们引入结构梯度代理来近似和传递这些反馈。大量实验表明，MetaKE 在强大的基线方法上都表现出色，为知识编辑提供了新的视角。