Transformer前馈层中键值记忆更新的实证研究
计算与语言
2024-02-20 v1
摘要
Transformer中的前馈网络被视为一组键值神经记忆，用于恢复抽象高层知识。本文中，我们对更新键（FFN层的第一层）或值（FFN层的第二层）进行了实证消融研究。我们在大型语言模型的各种知识编辑和微调任务中比较了这两种方法，以进一步理解FFN。代码可在https://github.com/qiuzh20/Tuning-keys-v.s.-values获取。
引用
@article{arxiv.2402.12233,
title = {Empirical Study on Updating Key-Value Memories in Transformer Feed-forward Layers},
author = {Zihan Qiu and Zeyu Huang and Youcheng Huang and Jie Fu},
journal= {arXiv preprint arXiv:2402.12233},
year = {2024}
}
备注
Accepted to Tiny Paper @ ICLR 2024. Codes available at this $\href{https://github.com/qiuzh20/Tuning-keys-v.s.-values}{this\,repo}$