知识更新的平衡：向随机森林LLM统一模块化编辑致敬
计算与语言
2025-11-03 v1 人工智能
摘要
知识编辑已成为更新大型语言模型（LLM）中事实知识的高效方法。通常它定位知识存储模块，然后修改其参数。然而，大多数现有方法仅关注多层感知器（MLP）模块的权重，而这些模块常被识别为事实信息的主要存储库。其他组件（如注意力（Attn）模块）在编辑过程中常被忽视。这会留下残余的过时知识并限制编辑效果。我们对先进LLM进行了全面的知识定位实验，发现Attn模块在事实知识存储与检索中发挥重要作用，尤其是在较早的层中。基于这些发现，我们提出IntAttn-Edit方法，将关联记忆范例扩展到联合更新MLP和Attn模块。我们的做法采用知识平衡策略，按每个模块对知识存储所衡量的贡献比例分配更新幅度。标准基准测试的实验表明，IntAttn-Edit在编辑成功率、泛化能力和知识保持方面均优于先前方法。进一步分析显示，平衡策略在 diverse 设置下保持编辑性能处于最佳范围。
引用
@article{arxiv.2510.27400,
title = {Balancing Knowledge Updates: Toward Unified Modular Editing in LLMs},
author = {Jiahao Liu and Zijian Wang and Kuo Zhao and Dong Hu},
journal= {arXiv preprint arXiv:2510.27400},
year = {2025}
}