基于基级表示微调的持续知识编辑方法

大语言模型（LLM）在各种自然语言处理任务上取得了显著性能。然而，它们是在静态语料库上训练的，在快速变化的世界中其知识可能迅速过时。这推动了知识编辑方法的发展，旨在更新LLM中的某些知识而不改变无关的知识。为了进行选择性编辑，先前的努力通常寻求更新LLM中某些特定层的少量参数。然而，在具有挑战性的场景中，它们在成功编辑的同时仍然难以保持与更新无关的知识，导致显著的编辑局部性权衡。在这项工作中，我们质疑这种权衡是否源于基于参数的更新具有全局效应，即编辑后的参数不加区分地影响所有输入。基于此，我们探讨了表示微调的可行性，该方法在学习到的子空间中对少量表示施加线性更新，用于知识编辑。虽然如先前工作所示，这种线性更新能有效增强LLM的一般能力，但我们从理论上证明了这种线性更新在编辑局部性权衡中施加了张力。随后，BaFT被提出以打破这种线性。BaFT根据输入表示计算子空间中每个基向量的权重。这种输入依赖的加权机制使BaFT能够以自适应方式管理不同类型的知识，从而实现更好的编辑局部性权衡。在三个LLM和五个编辑基准上的实验，涵盖多种场景，证明了我们方法的优越性。