线性关联记忆中的事实性记忆：尖锐渐近分析与机械学解释

大型语言模型在事实性记忆方面展现出惊人的能力，但神经网络在存储和检索输入-输出关联的基本极限仍不明确。我们在最小化设置中研究这些极限：一个线性关联记忆网络，将 $p$ 个输入嵌入在 $\mathbb{R}^d$ 中映射到其对应的 $d$ 维目标，通过单层实现，且要求每个映射后的输入与所有其他目标保持良好分离。与监督分类不同，这种严格的分离导致每个关联产生 $p$ 个约束，并产生强烈的约束间相关性，使直接描述存储容量困难。本文提供了精确的容量描述，具体方式如下：我们首先引入一个解耦模型，其中每个输入都有其独立的竞争输出集合，数值和解析证据表明该解耦模型在存储容量、学习权重谱和存储机制方面等价于原始模型。利用统计物理工具，我们展示解耦模型可存储至 $p_c \log p_c / d^2 = 1/2$ 个关联，并推广了 $p_c$ 的计算至线性双层结构。我们的分析还提供了关于最优解如何优于简单赫布式学习规则的机械学解释：最优解并非通过广泛波动来提升输入-输出对齐，而是将正确得分提升至由竞争输出设定的极端值阈值之上。这些发现给出了线性网络中事实存储的精确统计物理描述，为理解更现实神经网络结构的记忆容量提供了基准。