局部序列知识编辑中的范数增长与稳定性挑战

本研究探讨了对大型语言模型(LLM)进行局部更新的影响，具体关注于知识编辑任务——即在不影响模型更广泛能力的前提下，Incorporate或修改特定事实。我们首先表明，无论是连续预训练、全参数微调还是基于LoRA的微调，更新后矩阵的弗罗贝尼乃斯范数始终会增加。在模型中仅更新部分矩阵的局部知识编辑场景中，这种范数增长尤为有害。我们发现，无论采用何种编辑技术，包括微调、超网络方法或定位编辑方法，更新后矩阵的范数在连续更新后都会持续增大。这种增长会破坏模型的平衡性，尤其是在仅更新局部矩阵而保持模型其余部分不变的情况下，会导致潜在的不稳定性和下游性能的退化。深入调查中期激活向量后，我们发现内部激活向量的范数会减小，并且伴随着这些激活向量在表示空间中占据子空间的偏移，这表明与未编辑模型相比，这些激活向量现在占据了完全不同的区域。本文旨在突出连续和局部序列知识编辑的技术挑战，以及其对维持模型稳定性和实用性的影响。