稠密联想记忆的指数级容量

近期对 Hopfield 联想记忆模型的推广能够存储数量 $P$ 随神经元数 $N$ 指数增长的随机模式，$P=\exp(\alpha N)$。除了巨大的存储容量外，这些网络的另一个有趣特征是其与注意力机制的联系，而注意力机制是深度学习中广泛应用的 Transformer 架构的一部分。在这项工作中，我们使用统计力学分析研究了一类通用的模式集合，给出了检索典型模式的精确渐近阈值 $\alpha_1$，以及所有模式均可被检索的负载 $\alpha$ 最大值 $\alpha_c$ 的下界，还有吸引域的大小。我们详细讨论了高斯模式和球模式的情况，并表明它们展现出丰富且定性不同的相图。