现代 Hopfield 模型的统一内存检索及其大容量扩展

我们提出了一种称为 $\mathtt{U\text{-}Hop}$ 的两阶段内存检索动力学，以提升现代 Hopfield 模型的记忆容量。我们的关键贡献是引入可学习的特征映射 $\Phi$，将 Hopfield 能量函数转化到核空间中。这种转换确保了能量函数局部极小值与检索动力学固定点之间的收敛性。因此，由 $\Phi$ 诱导的核范数作为一种新型相似度度量。它利用存储的记忆模式作为学习数据，以提升所有现代 Hopfield 模型的记忆容量。具体做法是通过构建分离损失 $\mathcal{L}_\Phi$ 来实现，将核化能量的局部极小值通过在核空间中分离存储记忆模式来实现分离。方法论上，$\mathtt{U\text{-}Hop}$ 的记忆检索过程包含两个阶段：(阶段 I) 最小化分离损失以获得更均匀的记忆 (局部极小值) 分布，随后是 (阶段 II) 标准的 Hopfield 能量最小化进行记忆检索。这导致 Hopfield 能量函数中可能的铝模态显著减少，从而通过防止记忆混淆来提升记忆容量。实验上，我们使用真实数据集表明，$\mathtt{U\text{-}Hop}$ 在所有现有现代 Hopfield 模型和最先进的相似度度量方面均表现出色，在关联记忆检索和深度学习任务中实现了显著的性能提升。代码可在 https://github.com/MAGICS-LAB/UHop 获取；后续更新将在 arXiv:2404.03827 上发布。