普通最小二乘法是变换器的一个特例

变换器架构的统计本质长期以来都悬而未决：它是通用逼近器，还是已知计算算法的神经网络版本？通过严格的代数证明，我们展示了后者更能描述变换器的基本性质：普通最小二乘法(OLS)是单层线性变换器的一个特例。通过经验协方差矩阵的谱分解，我们构建了一个特定的参数设置，其中注意力机制的前向传递在数学上等效于OLS闭式投影。这意味着注意力可以通过一次前向传递来解决问题，而不是通过迭代。基于这个原型案例，我们进一步揭示了变换器内部存在一种解耦的慢速和快速记忆机制。最后，讨论了从我们建立的线性原型到标准变换器的演变。这种进展促进了Hopfield能量函数从线性到指数记忆容量的演变，从而在现代深度架构与经典统计推断之间建立了明确的连续性。