少编辑，多成效：面向大语言模型终身知识编辑的动态稀疏神经元掩码
机器学习
2025-10-28 v1 计算与语言
摘要
终身知识编辑能够持续、精确地更新大型语言模型(LLM)中的过时知识，而无需计算昂贵的完全重新训练。然而，现有方法在编辑过程中常常累积错误，导致编辑准确性和泛化能力逐渐下降。为解决此问题，我们提出神经元特定掩码知识编辑(NMKE)，一种新颖的细粒度编辑框架，它将神经元级归因与动态稀疏掩码相结合。利用神经元功能归因，我们识别出两类关键的知识神经元：知识通用神经元(在不同提示下一致激活)和知识特定神经元(对特定提示激活)。NMKE进一步引入了一种熵引导的动态稀疏掩码，定位与目标知识相关的神经元。这种策略能够以更少的参数修改实现精确的神经元级知识编辑。数千次顺序编辑的实验结果表明，NMKE在终身编辑中维持高编辑成功率并保持模型通用能力方面优于现有方法。
引用
@article{arxiv.2510.22139,
title = {Edit Less, Achieve More: Dynamic Sparse Neuron Masking for Lifelong Knowledge Editing in LLMs},
author = {Jinzhe Liu and Junshu Sun and Shufan Shen and Chenxue Yang and Shuhui Wang},
journal= {arXiv preprint arXiv:2510.22139},
year = {2025}
}
备注
19 pages, 11 figures, Accepted by NeurIPS 2025