我们能否通过上下文学习编辑事实性知识？
计算与语言
2023-05-23 v1
摘要
先前研究表明，诸如GPT之类的大语言模型（LLM）在其参数中存储了大量事实性知识。然而，所存储的知识可能是错误的或已过时的。传统知识编辑方法通过在包含特定知识的文本上微调来精炼LLM。但随着LLM规模不断增大，这些基于梯度的方法带来了巨大的计算成本。模型即服务的趋势也使得在黑盒语言模型中修改知识变得不可能。受上下文学习（ICL）这一基于示范上下文且无需参数更新的新范式启发，我们探究ICL能否编辑事实性知识。为回答该问题，我们对ICL策略进行了全面的实证研究。实验表明，上下文知识编辑（IKE）无需任何梯度和参数更新，在GPT-J（6B）上取得了与基于梯度的方法相竞争的成功率，但副作用更少，包括对相似但无关事实的过度编辑更少，以及对先前存储知识的遗忘更少。我们还将该方法应用于具有数十亿或数百亿参数的更大LLM（如OPT-175B），展示了我们方法的可扩展性。代码见 https://github.com/Zce1112zslx/IKE。
引用
@article{arxiv.2305.12740,
title = {Can We Edit Factual Knowledge by In-Context Learning?},
author = {Ce Zheng and Lei Li and Qingxiu Dong and Yuxuan Fan and Zhiyong Wu and Jingjing Xu and Baobao Chang},
journal= {arXiv preprint arXiv:2305.12740},
year = {2023}
}