多头Transformer动力学的无限极限

在这项工作中，我们分析了特征学习机制中Transformer模型训练动力学的各种缩放极限。我们确定了允许定义良好的无限宽度和深度极限的参数化集合，使得注意力层在整个训练过程中能够更新——这是这些模型中特征学习的一个相关概念。然后，我们使用动力学平均场理论（DMFT）的工具来分析各种无限极限（无限键/查询维度、无限头数和无限深度），这些极限根据所取的无限极限以及注意力层的缩放方式具有不同的统计描述。我们提供了收敛到极限的数值证据，并讨论了参数化如何定性影响学习到的特征。