稀疏神经网络中极限环的数量
无序系统与神经网络
2020-12-03 v1
摘要
我们考虑由定义在随机图上的（一般非对称）自旋玻璃表示的神经网络中时间模式（即有限长度循环）的存储性质。受稀疏系统上的动力学比稠密连接系统的动力学具有更多吸引盆这一观察的启发，我们考虑稀疏拓扑中贪心动力学的吸引子，将其作为已存储记忆的代理。我们通过数值模拟枚举这些吸引子，并利用置信传播将分析扩展到较大系统规模。我们发现此类循环数量的对数是平均连接度的非单调函数，并讨论了其与描述海马体记忆容量的生物神经网络的相似性。
引用
@article{arxiv.2001.00262,
title = {On the number of limit cycles in diluted neural networks},
author = {Sungmin Hwang and Enrico Lanza and Giorgio Parisi and Jacopo Rocchi and Giancarlo Ruocco and Francesco Zamponi},
journal= {arXiv preprint arXiv:2001.00262},
year = {2020}
}
备注
10 pages, 11 figures