用于知识编辑的模型合并
人工智能
2025-06-17 v1 计算与语言
机器学习
摘要
大语言模型 (LLMs) 需要持续更新以保持准确且最新的知识，以跟得上世界的变化。虽然现有的知识编辑方法提供了各种知识更新方案，但它们通常在顺序编辑场景中表现不佳，并损害模型的通用能力，从而严重阻碍了其实际适用性。本文提出了一种结合鲁棒监督微调 (R-SFT) 与模型合并的知识编辑两阶段框架。我们的方法首先对 LLM 进行微调以充分内化新知识，然后将微调后的模型与原始基础模型合并，以保留新获取的知识和通用能力。实验结果表明，我们的方法在顺序编辑方面显著优于现有方法，同时更好地保持了模型的原始性能，且无需任何架构更改。代码地址：https://github.com/Applied-Machine-Learning-Lab/MM4KE。
引用
@article{arxiv.2506.12384,
title = {Model Merging for Knowledge Editing},
author = {Zichuan Fu and Xian Wu and Guojing Li and Yingying Zhang and Yefeng Zheng and Tianshi Ming and Yejing Wang and Wanyu Wang and Xiangyu Zhao},
journal= {arXiv preprint arXiv:2506.12384},
year = {2025}
}
备注
11 pages, 3 figures