大语言模型中的稳定知识编辑
计算与语言
2024-02-21 v1
摘要
大语言模型的高效知识编辑对于大规模替换过时信息或纳入专业知识至关重要。然而，先前的方法隐式地假设知识在模型中是局部化和孤立的，这一假设过度简化了模型知识的互联性质。局部化的前提导致知识编辑不完整，而孤立的假设可能会损害其他知识和通用能力。这给知识编辑方法的性能引入了不稳定性。为了超越这些假设，我们引入了 StableKE，这是一种基于知识增强而非知识局部化的新颖视角的方法。为了克服人工标注的成本，StableKE 集成了两种自动知识增强策略：语义复述增强策略，通过多样化知识描述来促进向模型传授新信息；以及上下文描述丰富策略，通过扩展周围知识来防止相关信息的遗忘。StableKE 超越了其他知识编辑方法，在编辑后的知识和多跳知识方面均表现出稳定性，同时保留了不相关的知识和通用能力。此外，StableKE 可以对 ChatGPT 进行知识编辑。
引用
@article{arxiv.2402.13048,
title = {Stable Knowledge Editing in Large Language Models},
author = {Zihao Wei and Liang Pang and Hanxing Ding and Jingcheng Deng and Huawei Shen and Xueqi Cheng},
journal= {arXiv preprint arXiv:2402.13048},
year = {2024}
}