HiEdit：基于层次强化学习的终身模型编辑
计算与语言
2026-04-14 v1
摘要
终身模型编辑 (LME) 旨在在最小化对无关输入副作用的同时，对部署在 LLMs 中的过时或不准确知识进行顺序纠正。然而，现有方法通常对所有编辑实例都针对静态且稠密的 LLM 层施加参数扰动。这一做法是反直觉的，因为我们假设不同的知识片段存储在模型的不同层中。忽略这种层级特异性会阻碍知识的集成，并导致对通用知识和先前编辑过的知识发生灾难性遗忘。为此，我们提出 HiEdit，一个基于层次强化学习的框架，用于自适应识别每个编辑实例的最相关层。通过实现动态、实例感知的层选择并纳入稀疏性内在奖励，HiEdit 实现了精确、局部化的更新。各种 LLMs 上的实验表明，HiEdit 在仅对每个编辑扰动一半层的情况下，将竞争性 RLEdit 的性能提升约 8.48%。我们的代码可在 https://github.com/yangfanww/hiedit 查阅。
引用
@article{arxiv.2604.11214,
title = {HiEdit: Lifelong Model Editing with Hierarchical Reinforcement Learning},
author = {Yangfan Wang and Tianyang Sun and Chen Tang and Jie Liu and Wei Cai and Jingchi Jiang},
journal= {arXiv preprint arXiv:2604.11214},
year = {2026}
}
备注
Accept by ACL 2026