通过联想记忆理解Transformer中的事实性回忆
机器学习
2024-12-10 v1 计算与语言
信息论
math.IT
机器学习
摘要
大语言模型展现了令人印象深刻的事实性回忆能力。先前的工作发现，在事实性回忆任务上训练的Transformer能够以与参数量成比例的速率存储信息。在我们的工作中，我们证明浅层Transformer可以通过联想记忆的组合来实现接近最优的存储容量。我们首先证明了线性和MLP联想记忆的存储容量均随参数量线性增长。接着我们引入了一个合成的事实性回忆任务，并证明一个由单层自注意力后接MLP组成的Transformer，只要自注意力参数总量或MLP参数量按（对数因子以内）线性增长，就能以100%的准确率完成该任务。特别地，Transformer可以在使用值矩阵或MLP作为联想记忆来存储事实数据集之间进行权衡。我们通过分析简化线性注意力模型在我们的事实性回忆任务上的梯度流轨迹来补充这些表达能力结果，其中我们展示了模型表现出序贯学习行为。
引用
@article{arxiv.2412.06538,
title = {Understanding Factual Recall in Transformers via Associative Memories},
author = {Eshaan Nichani and Jason D. Lee and Alberto Bietti},
journal= {arXiv preprint arXiv:2412.06538},
year = {2024}
}