基于连续时间记忆的现代 Hopfield 网络
机器学习
2025-04-11 v4
摘要
最近的研究在保证指数存储容量的同时建立了现代 Hopfield 网络 (HNs) 与 transformer 注意力头之间的关联。然而，这些模型仍面临高效扩展存储的挑战。灵感来源于心理学中连续神经资源在工作记忆中的分配理论，我们提出一种将大型离散 Hopfield 记忆压缩为更小连续时间记忆的方法。利用连续注意力机制，我们的新型能量函数修改了 HNs 的更新规则，将传统的基于 softmax 的概率质量函数替换为连续记忆上的概率密度。这一表述与人类执行功能的现代观点相吻合，提供了工作记忆中吸引子动力学与资源高效记忆分配之间的原则性联系。我们的框架在保持与 HNs 相当性能的同时利用压缩记忆，显著降低了在合成数据集和视频数据集上的计算成本。
关键词
引用
@article{arxiv.2502.10122,
title = {Modern Hopfield Networks with Continuous-Time Memories},
author = {Saul Santos and António Farinhas and Daniel C. McNamee and André F. T. Martins},
journal= {arXiv preprint arXiv:2502.10122},
year = {2025}
}