基于知识神经集合的大语言模型知识编辑

随着现实世界知识的不断演变，确保模型知识的时效性和准确性已成为关键，这使得大语言模型中的知识编辑日益重要。然而，现有知识编辑方法面临参数局部化耦合、定位不精确以及缺乏跨层动态交互等挑战。本文提出一种新颖的知识编辑方法，称为知识神经集合（Knowledge Neuronal Ensemble, KNE）。知识神经集合代表编码特定知识的神经元群，从而缓解参数局部化导致的频繁参数修改问题。KNE方法通过计算每个参数在每个层上的梯度归因分数，提高了参数定位的精确度和准确度。在编辑过程中，仅计算与知识神经集合相关的梯度和损失，进行相应的误差反向传播，确保参数之间动态交互和协作更新。在三个广泛使用的知识编辑数据集上的实验结果表明，KNE方法显著提高了知识编辑的准确度，在可移植性和局部性指标上实现了与最佳基线方法相当甚至更好的性能。