关注事实：量化注意力层的知识容量
机器学习
2025-02-10 v1 计算与语言
摘要
本文从线性代数的视角研究了单层仅注意力变换器（即注意力层）记忆数据库中包含的事实的的能力。我们将每个数据库与一个 3-张量关联起来，提出该张量的秩作为数据库大小的度量，并根据数据库的性质给出了秩的界。我们还定义了一个对应于注意力层的 3-张量，并在玩具模型和随机数据库的数据集上通过实验证明了其秩与数据库秩之间的关系。通过强调值-输出和查询-键权重所扮演的角色，以及 argmax 和 softmax 对秩的影响，我们的结果揭示了变换器中事实回忆的“加法基序”，同时也提出了一种在不增加参数数量的情况下增加层容量的方法。
引用
@article{arxiv.2502.05076,
title = {Paying Attention to Facts: Quantifying the Knowledge Capacity of Attention Layers},
author = {Liang Ze Wong},
journal= {arXiv preprint arXiv:2502.05076},
year = {2025}
}