具有离散突触与稀疏编码记忆网络的存储容量
生物物理
2022-05-25 v2
摘要
吸引子神经网络（ANNs）是生物神经元网络中记忆形成与提取的主要理论框架之一。在该框架中，当外部输入施加于网络的某种模式成为网络动力学的固定点吸引子时，称该模式已被学习。存储容量是网络所能学习的最大模式数目。本文研究了在任意编码水平下，采用二值化赫布规则的全连接与稀疏连接网络的存储容量。我们的结果表明，具有离散突触的网络与具有连续突触的模型具有相似的存储容量，并且在所有可行二值连接矩阵空间中，该容量在稀疏编码极限下渐近趋于最优容量。我们还推导了稀疏编码极限下渐近解的有限编码水平修正项。结果表明，当编码水平变小时，具有赫布学习规则的网络容量极缓慢地收敛至最优容量。我们的结果还表明，在具有稀疏二值连接矩阵的网络中，每突触的信息容量大于全连接情形，因而此类网络存储信息更为高效。
引用
@article{arxiv.2112.06711,
title = {Storage capacity of networks with discrete synapses and sparsely encoded memories},
author = {Yu Feng and Nicolas Brunel},
journal= {arXiv preprint arXiv:2112.06711},
year = {2022}
}