基于乘法正交序列编辑的语言模型知识编辑

知识编辑旨在高效地修改大型语言模型（LLM）的内部知识，而不会影响其其他能力。当前的编辑范式将更新矩阵附加到原始参数矩阵上，已被证明会损害关键数值稳定性指标（如条件数和范数），从而降低编辑性能和一般能力，尤其是在顺序编辑场景中。尽管后续方法在某些方面取得了改进，但仍停留在加法框架内，未从根本上解决这一局限性。为此，我们从统计和数学两个角度分析问题，得出结论：对原始矩阵乘以正交矩阵不会改变矩阵的数值稳定性。灵感来自此，提出一种称为多乘法正交序列编辑（MOSE）的编辑范式。具体而言，我们首先推导乘法形式的参数更新，将新知识嵌入正交矩阵中，然后与原始参数矩阵相乘。如此一来，编辑后矩阵的数值稳定性得以保持，从而维持编辑性能和一般能力。我们将 MOSE 与几种当前知识编辑方法进行了比较，系统评估了它们在编辑性能和一般能力上的影响，涵盖三个不同的 LLM。实验结果表明，MOSE 有效限制了被编辑参数矩阵的偏差，保持了其数值稳定性。与当前方法相比，MOSE 在顺序编辑性能上提升了 12.08%，同时在下游任务中保持了 95.73% 的一般能力。代码已公开 https://github.com/famoustourist/MOSE。