基于动态权重生成的大语言模型大规模编辑
人工智能
2026-03-24 v4
摘要
知识编辑 (Knowledge Editing, KE) 是一个研究如何以低成本（相比于预训练）修改大语言模型 (LLMs) 中某些知识的领域。目前，在对 LLMs 进行大规模编辑的同时确保编辑的可靠性、泛化性和局部性指标仍是一个挑战。本文提出了一种基于动态权重生成 (Massive editing approach for LLMs based on dynamic weight Generation, MeG) 的大语言模型大规模编辑方法。我们的 MeG 方法涉及在 LLMs 的特定层附加一个动态权重神经元，并使用扩散模型根据知识所需的输入查询条件性地生成该神经元的权重。这使得仅通过添加单个动态权重神经元即可实现大规模知识编辑的目标。实验表明，与现有的知识编辑方法相比，我们的 MeG 能够显著提升大规模 KE 在可靠性、泛化性和局部性指标方面的表现，特别是在局部性指标的绝对值指数上取得了较高的百分点提升，证明了我们提出方法的优势。代码可在 https://github.com/RodeWayne/MeG-for-Knowledge-Editing 获取。
引用
@article{arxiv.2512.14395,
title = {Massive Editing for Large Language Models Based on Dynamic Weight Generation},
author = {Wentao Wan and Qiqing Lao and Zhiwei Xie and Hefeng Wu and Runnan Lin and Liang Lin and Keze Wang},
journal= {arXiv preprint arXiv:2512.14395},
year = {2026}
}
备注
Accepted by ICLR 2026