HoReN：面向大规模序列模型编辑的归一化Hopfield检索
机器学习
2026-05-20 v2 人工智能
摘要
大语言模型编码了海量的事实知识，这些知识在部署后可能变得过时或错误，然而重新训练的成本极其高昂。这催生了终身模型编辑的需求，即在保留模型其余部分的同时更新目标行为。现有的编辑器，无论是参数修改型还是参数保留型，随着编辑次数的累积，性能都会严重下降，并且难以泛化到不同的转述表达上。我们提出了HoReN，这是一种基于码本的参数保留型编辑器，它用一个离散的键值记忆包裹单个MLP层。HoReN将每个码本条目同时视为知识键和Hopfield存储模式，通过在单位超球面上的角度相似度来检索编辑，并通过阻尼Hopfield动力学细化查询，使得转述表达收敛到正确的记忆盆地，而无关输入保持稳定。HoReN在涵盖标准ZsRE、结构化WikiBigEdit和非结构化UnKE评估的多种基准测试中，均取得了强大的编辑性能，并实现了一致的增益。此外，HoReN在ZsRE上可扩展到5万次顺序编辑，整体性能稳定在0.93以上，而之前的编辑器在达到1万次之前就已崩溃或严重退化。我们的代码可在https://github.com/ha11ucin8/HoReN获取。
引用
@article{arxiv.2605.08143,
title = {HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing},
author = {Yuan Fang and Yi Xie and Xuming Ran},
journal= {arXiv preprint arXiv:2605.08143},
year = {2026}
}
备注
30 pages, 10 figures