$\mu$KE：大型语言模型的矩阵式非结构化知识编辑
计算与语言
2025-08-12 v2 人工智能
摘要
大型语言模型 (LLM) 已成为强大的知识库，但因静态训练数据限制，存在幻觉和安全风险等问题。通过定位-编辑范式编辑模型内部知识的做法已证明是一种高性价比的替代方案，但当前的非结构化方法（尤其是基于窗口的自回归方法）常常破坏早期记忆更新与后续输出标记之间的因果依赖关系。本文首先对这些局限性进行理论分析，然后引入矩阵式非结构化知识编辑 (KE)，一种通过矩阵式目标和自适应损失系数来保持此类依赖关系的新型记忆更新机制。在两个模型上进行的四项基准测试的实证评估表明，KE 相对于最先进的方法在编辑有效性方面提升了最高可达 12.33%，并在应用于多样化格式编辑时保持稳健性，凸显其在 LLM 中有效非结构化知识编辑的潜力。
引用
@article{arxiv.2504.01196,
title = {$\mu$KE: Matryoshka Unstructured Knowledge Editing of Large Language Models},
author = {Zian Su and Ziyang Huang and Kaiyuan Zhang and Xiangyu Zhang},
journal= {arXiv preprint arXiv:2504.01196},
year = {2025}
}
备注
COLM 2025. The first two authors contributed equally to this work