具有互补记忆编码的类Hopfield模型
神经元与认知
2023-08-28 v3 无序系统与神经网络
摘要
我们提出一种类Hopfield自联想网络，用于存储表示概念实例的记忆。每个记忆由具有互补性质的两个活动模式编码。第一个模式是稠密的，且在概念内各实例间相关；第二个模式是稀疏的，且在实例间无相关性。网络将每个记忆存储为其两种编码的线性组合。在检索时，网络分别以高或低活动阈值恢复稀疏或稠密模式。随着存储记忆增多，低阈值下的稠密表示从实例转向概念，这些概念由累积的共性实例特征学习得到。同时，高阈值下的稀疏表示因稀疏、去相关模式的高容量而保持实例间区分。因此，单一网络可在实例与概念尺度上检索记忆，并在二者间进行异联想。我们通过推导宏观平均场方程得到稀疏实例、稠密实例和稠密概念的容量公式。我们还进行了网络仿真以验证理论结果并明确展示网络能力。
引用
@article{arxiv.2302.04481,
title = {A Hopfield-like model with complementary encodings of memories},
author = {Louis Kang and Taro Toyoizumi},
journal= {arXiv preprint arXiv:2302.04481},
year = {2023}
}
备注
34 pages including 21 pages of appendices, 9 figures