一适用于所有:跨多个模型更新参数化知识
计算与语言
2025-06-03 v1
摘要
大语言模型(LLM)编码了海量的世界知识,但难以保持最新,常导致错误与幻觉。知识编辑提供了一种替代重训练的高效方案,通过更新特定模型参数实现针对性修改。然而,现有方法主要针对单个模型,在高效更新多个模型及适应新模型方面面临挑战。为解决此问题,我们提出 OnceEdit,一种新颖的基于集成的方法,采用即插即用模型作为编辑模块,支持跨多个模型的稳定知识更新。基于模型集成,OnceEdit 引入了两个关键机制以增强其有效性。首先,我们通过 \weight token 引入动态权重机制,以区分编辑相关与非编辑相关实例,确保合理利用来自集成模型的知识。其次,我们引入了集成增强机制,以缓解模型集成技术中固有的对中心模型的过度依赖,使其更适合知识编辑。在多种 LLM 上的大量实验表明,OnceEdit 持续优于现有方法,同时实现了卓越的编辑效率。进一步分析证实了其在多模型编辑场景中的适应性与稳定性。我们的代码将公开提供。
引用
@article{arxiv.2506.00817,
title = {One for All: Update Parameterized Knowledge Across Multiple Models},
author = {Weitao Ma and Xiyuan Du and Xiaocheng Feng and Lei Huang and Yichong Huang and Huiyi Zhang and Xiaoliang Yang and Baohang Li and Xiachong Feng and Ting Liu and Bing Qin},
journal= {arXiv preprint arXiv:2506.00817},
year = {2025}
}
备注
ACL 2025 (Main Conference)