NeuralDB：通过神经 KV 数据库将 LLM 中的知识编辑扩展至 10 万条事实
计算与语言
2025-07-25 v1 人工智能
摘要
高效地编辑存储在大型语言模型（LLM）中的知识，可实现无需大规模训练的模型更新。一种可能的解决方案是定位并编辑（Locate-and-Edit, L&E），允许对大量事实的同时修改。然而，这种编辑可能损害 LLM 的通用能力，甚至在扩展到数千次编辑后导致记忆已编辑的事实。本文我们将现有的线性 L&E 方法建模为查询 Key-Value（KV）数据库。从这一角度出发，我们提出了 NeuralDB，一种编辑框架，显式地将已编辑的事实表示为一个配备非线性门控检索模块的神经 KV 数据库。 % 特别地，我们的门控模块仅在推理涉及已编辑事实时才起作用，有效地保留了 LLM 的通用能力。对 ZsRE 和 CounterFacts 数据集上的包含编辑 1 万条事实的全面实验使用 GPT2-XL、GPT-J（6B）和 Llama-3（8B）。结果表明，NeuralDB 不仅在编辑效能、泛化、特定性、流畅性和一致性方面均表现出色，还在六项典型文本理解和生成任务中保持整体性能。进一步的实验表明，NeuralDB 在扩展到 10 万条事实（相当于前期工作的 50 倍）时仍能保持有效性。
引用
@article{arxiv.2507.18028,
title = {NeuralDB: Scaling Knowledge Editing in LLMs to 100,000 Facts with Neural KV Database},
author = {Weizhi Fei and Hao Shi and Jing Xu and Jingchen Peng and Jiazheng Li and Jingzhao Zhang and Bo Bai and Wei Han and Zhenyuan Chen and Xueyan Niu},
journal= {arXiv preprint arXiv:2507.18028},
year = {2025}
}