能量正则化的序列模型编辑：在超球面上

大型语言模型（LLM）需要不断更新以保持与不断演变的现实世界知识的一致性。模型编辑提供了一种轻量级的替代方案，优于重新训练，但序列编辑往往会 destabilize 表示并引发灾难性遗忘。在本工作中，我们寻求更好地理解和缓解由序列编辑引起的性能退化。我们假设，超球面均匀性——即维持神经元权重在超球面上均匀分布的属性——有助于模型保持稳定，保留先前知识，同时仍能容纳新的更新。我们使用超球面能量（HE）来量化编辑期间的神经元均匀性，并检查其与编辑性能之间的相关性。跨越广泛使用的编辑方法的经验研究揭示了HE动态与编辑性能之间的强相关性，编辑失败始终伴随着高HE波动。我们进一步理论上证明，HE动态对预训练知识的退化设定了一个下界，凸显了HE稳定性为知识保留的重要性。受这些见解启发，我们提出了SPHERE（稀疏投影用于超球面能量正则化编辑），一种HE驱动的正则化策略，通过稳定神经元权重分布，最终在保持先前知识的同时实现可靠的顺序更新。具体而言，SPHERE识别与预训练权矩阵主超球面方向互补的稀疏空间，并将新知识投影到该空间，以减轻对主方向的扰动。在LLaMA3（8B）和Qwen2.5（7B）上的大量实验表明，SPHERE在编辑能力上平均超过最佳基线16.41%，并最忠实地保留一般模型性能，从而为可靠的大规模知识编辑提供了原则性的路径。