现代Hopfield模型的最优记忆容量：作为球面码的Transformer兼容稠密联想记忆

我们研究了现代Hopfield模型和核化Hopfield模型（KHM）的最优记忆容量，后者是一类与Transformer兼容的稠密联想记忆。我们通过建立KHM记忆配置与信息论中球面码之间的联系，给出了一个紧凑的分析。具体而言，我们将存储的记忆集视为一种专门的球面码。这使我们能够将KHM中的记忆问题转化为超球面上的点排列问题。我们表明，当特征空间允许记忆形成最优球面码时，KHM达到最优容量。这一独特视角带来了：（i）对KHM如何实现最优记忆容量的分析，并确定了相应的必要条件。重要的是，我们建立了一个与文献中众所周知的指数下界相匹配的上界，为现代Hopfield模型提供了首个紧渐近最优记忆容量。（ii）一个亚线性时间算法$\mathtt{U}\text{-}\mathtt{Hop}$+，以达到KHM的最优容量。（iii）对所需特征维度相对于存储记忆数量的缩放行为的分析。这些结果提高了KHM的检索能力以及相应Transformer的表示学习。实验上，我们提供了全面的数值结果来支持理论发现。