模型编辑的统一框架

ROME 和 MEMIT 在很大程度上被认为是两种不同的模型编辑算法，它们之间的主要区别在于执行批量编辑的能力。在本文中，我们将这两种算法统一在一个概念框架下，优化相同的目标，我们称之为保留-记忆目标。ROME 使用等式约束来优化此目标，一次执行一次编辑，而 MEMIT 则采用更灵活的最小二乘约束，允许批量编辑。我们推广了 ROME，并以 EMMET（一种用于 Transformer 的等式约束质量模型编辑算法，一种新的批量记忆编辑算法）的形式实现了带等式约束的批量编辑。EMMET 可以执行批量大小高达 10,000 的批量编辑，在多个维度上的性能与 MEMIT 非常相似。随着 EMMET 的引入，我们真正统一了 ROME 和 MEMIT，并表明这两种算法在优化目标、能力（单次和批量编辑）、模型编辑性能及其局限性方面是等效的。