修改 Transformer 模型中的记忆
计算与语言
2020-12-02 v1 机器学习
摘要
大型 Transformer 模型在许多自然语言任务中取得了令人印象深刻的性能。特别是，基于 Transformer 的语言模型已被证明在其海量参数中编码事实知识方面具有很强的能力。虽然改进 Transformer 的记忆和泛化的任务已被广泛研究，但如何使 Transformer 遗忘特定的旧事实并记忆新事实尚不为人所知。在本文中，我们提出一项新任务：显式修改 Transformer 模型中的特定事实知识，同时确保模型在未修改事实上的性能不退化。该任务在许多场景中有用，例如更新过时知识、保护隐私以及消除模型中存储的无意偏见。我们对几种在该任务上提供自然基线性能的方法进行了基准测试。这导致了发现 Transformer 模型中对于知识修改特别有效的关键组件。该工作还提供了关于不同训练阶段（如预训练和微调）对记忆与知识修改所起作用的认识。
引用
@article{arxiv.2012.00363,
title = {Modifying Memories in Transformer Models},
author = {Chen Zhu and Ankit Singh Rawat and Manzil Zaheer and Srinadh Bhojanapalli and Daliang Li and Felix Yu and Sanjiv Kumar},
journal= {arXiv preprint arXiv:2012.00363},
year = {2020}
}