潜在知识刀锋：用于大语言模型的精确且大规模知识编辑
机器学习
2025-08-07 v1 人工智能
摘要
大语言模型（LLM）常常保留了来自预训练的不准确或过时的信息，导致在推理期间进行错误预测或偏差输出。虽然现有的模型编辑方法可以解决这一挑战，但在同时编辑大量事实信息时仍存在困难，可能损害模型的通用能力。本文的实证研究表明，编辑 LLM 的内部表示以类似编辑自然语言输入的方式替换特定实体是可行的。基于此洞见，我们引入了潜在知识刀锋（Latent Knowledge Scalpel, LKS），一种 LLM 编辑器，通过轻量级超网络操作特定实体的潜在知识，从而实现精确且大规模的编辑。在 Llama-2 和 Mistral 上进行的实验表明，即使同时进行 10,000 项编辑，LKS 也能在保持编辑后 LLM 通用能力的同时有效执行知识编辑。代码已公开：https://github.com/Linuxin-xxx/LKS。
引用
@article{arxiv.2508.03741,
title = {Latent Knowledge Scalpel: Precise and Massive Knowledge Editing for Large Language Models},
author = {Xin Liu and Qiyang Song and Shaowen Xu and Kerou Zhou and Wenbo Jiang and Xiaoqi Jia and Weijuan Zhang and Heqing Huang and Yakai Li},
journal= {arXiv preprint arXiv:2508.03741},
year = {2025}
}
备注
Accepted by ECAI 2025 - 28th European Conference on Artificial Intelligence