CollabEdit：面向非破坏性协作知识编辑
计算与语言
2025-02-25 v4 计算机与社会
摘要
大规模语言模型的协同学习已成为一种新范式，用于利用来自不同方的私有数据以保证效率和隐私。与此同时，针对大规模语言模型的知识编辑 (KE) 也日益受到关注，因为其能够显式地操控语言模型的行为，然而尚未探讨协作 KE 案例（即多个方的知识编辑被聚合在隐私保护和持续性方式下）。为此，本文首次考察协作 KE，其中我们仔细识别了其独特的三个挑战，包括知识重叠、知识冲突和知识遗忘。我们随后提出一种非破坏性协作 KE 框架 COLLABEDIT，该框架采用一种新颖的模型合并机制以模拟全局 KE 行为，同时防止严重的性能下降。在两个标准数据集上进行大量实验表明，COLLABEDIT 在与其他破坏性基线方法相比具有优势，结果揭示了解决这三个协作 KE 挑战以及未来应用的可能性。我们的代码已公开于 https://github.com/LINs-lab/CollabEdit。
引用
@article{arxiv.2410.09508,
title = {CollabEdit: Towards Non-destructive Collaborative Knowledge Editing},
author = {Jiamu Zheng and Jinghuai Zhang and Tianyu Du and Xuhong Zhang and Jianwei Yin and Tao Lin},
journal= {arXiv preprint arXiv:2410.09508},
year = {2025}
}
备注
20 pages, 11 figures. Published as a conference paper at ICLR 2025. Code at https://github.com/LINs-lab/CollabEdit