强化终身编辑：面向语言模型的强化学习方法
计算与语言
2025-09-09 v4
摘要
大型语言模型（LLM）从预训练语料库中获取信息，但随着时间推移，其存储的知识可能变得不准确或过时。模型编辑通过无需重新训练的方式修改模型参数来应对这一挑战，而主流方法利用超网络生成这些参数更新。然而，这些方法在终身编辑方面面临着与语言模型在编辑过程中动态变化的参数不兼容的挑战。为此，我们观察到基于超网络的终身编辑与强化学习建模相吻合，提出了基于强化学习的编辑方法RLEdit。通过将编辑损失视为奖励，在完整知识序列水平上优化超网络参数，使其能够精确捕捉语言模型的变化并生成恰当的参数更新。我们在多个大型语言模型上进行了广泛的实证评估，表明RLEdit在终身编辑方面在有效性和效率上均优于现有方法，实现了59.24%的提升，而仅需时间的2.11%。我们的代码已公开：https://github.com/zhrli324/RLEdit。
引用
@article{arxiv.2502.05759,
title = {Reinforced Lifelong Editing for Language Models},
author = {Zherui Li and Houcheng Jiang and Hao Chen and Baolong Bi and Zhenhong Zhou and Fei Sun and Junfeng Fang and Xiang Wang},
journal= {arXiv preprint arXiv:2502.05759},
year = {2025}
}
备注
Accepted by ICML2025