AnyEdit：编辑编码于语言模型中的任意知识
计算与语言
2025-10-13 v3
摘要
大型语言模型（LLM）常常会产生错误或过时的信息，亟需高效且精确的知识更新。当前的模型编辑方法在处理多种格式的长形式知识时（如诗歌、代码片段和数学推导）时效果不佳，这些局限性源于其仅编辑单个 token 隐藏状态的做法，我们将这种局限称为“有效性壁垒”。为解决此问题，我们提出了 AnyEdit，即一种新的自回归编辑范式。它将长形式知识分解为顺序块，并迭代编辑每个块中的关键 token，以确保输出一致且准确。理论上，我们基于相互信息链式法则对 AnyEdit 进行了 grounding，展示了其更新 LLM 中任意知识的能力。实证上，它在包含 UnKEBench、AKEW 以及我们新构建的 EditEverything 数据集（用于长形式多格式知识）的基准测试中均显著优于强大 baselines，提升幅度达 21.5%。此外，AnyEdit 作为即插即用框架，使当前编辑方法能够更新任意长度和格式的知识，显著拓展了 LLM 知识编辑的范围和实用性。
引用
@article{arxiv.2502.05628,
title = {AnyEdit: Edit Any Knowledge Encoded in Language Models},
author = {Houcheng Jiang and Junfeng Fang and Ningyu Zhang and Guojun Ma and Mingyang Wan and Xiang Wang and Xiangnan He and Tat-seng Chua},
journal= {arXiv preprint arXiv:2502.05628},
year = {2025}
}