在 Transformer 中批量编辑记忆
计算与语言
2023-08-03 v2 机器学习
摘要
近期工作展示了用新记忆更新大语言模型以替换过时信息或添加专业知识的可喜前景。然而，这类工作主要局限于更新单一关联。我们提出了 MEMIT，一种直接用大量记忆更新语言模型的方法，并通过实验证明它可扩展至 GPT-J（6B）和 GPT-NeoX（20B）的数千个关联，比先前工作高出数个数量级。我们的代码和数据位于 https://memit.baulab.info。
引用
@article{arxiv.2210.07229,
title = {Mass-Editing Memory in a Transformer},
author = {Kevin Meng and Arnab Sen Sharma and Alex Andonian and Yonatan Belinkov and David Bau},
journal= {arXiv preprint arXiv:2210.07229},
year = {2023}
}
备注
18 pages, 11 figures. Code and data at https://memit.baulab.info