无槽位的神经计算：向生物学可行的记忆与注意力迈出的步骤
神经与进化计算
2025-11-07 v1 神经元与认知
摘要
许多用于人工智能和认知科学的模型都依赖于存储在"槽位"——数字计算机中专用的存储位置——中的多元素模式。由于生物大脑可能不具备槽位，本文考虑如何通过建立在受神经学启发的现代Hopfield网络(MHN; Krotov & Hopfield, 2021)基础上，通过存储于单个神经元连接权重中的模式来实现类似的功能。我们提出了这种方法的扩展，以增加其作为记忆模型的生物学可行性，并捕捉当代语言模型中槽位计算的一个重要优势。对于记忆，神经学研究表明，重叠的稀疏神经元集合的权重，而非专用的单个神经元，用于存储记忆。我们引入了K胜者MHN，将方法扩展到集合，并发现，在持续学习情境下，基于集合的MHN在保护旧记忆方面，按照衡量旧记忆保留程度的graded sensitivity measure d'，优于标准(单个神经元)MHN。接下来，我们考虑当代语言模型中槽位存储的强大用途。这些模型使用槽位存储过去输入及其学习编码的长序列，以支持后续预测，并允许将错误信号向后传递以调整这些过去输入的学习编码所支撑的权重。受这些模型成功的启发，我们展示了MHN如何扩展以捕捉这两个重要的功能结果。总体而言，我们的建模方法构成了向理解如何通过生物学可行机制支持计算的步骤，这些计算已使AI系统能够捕获人类类似能力，而此前的模型尚未实现。
关键词
引用
@article{arxiv.2511.04593,
title = {Neural Computation Without Slots: Steps Towards Biologically Plausible Memory and Attention in Natural and Artificial Intelligence},
author = {Shaunak Bhandarkar and James L. McClelland},
journal= {arXiv preprint arXiv:2511.04593},
year = {2025}
}
备注
19 main text pages, 7 main text figures; 33 supplementary pages, 13 supplementary figures