精确可解非对称神经网络模型的模式存储、分岔与高阶相关结构
摘要
精确可解的非对称权重神经网络模型十分罕见，且现有精确解仅见于某些平均场方法。本文中，我们找到了任意大小的类自旋玻璃非对称模型的精确解析解，并完整研究了其动力学与统计性质。该网络具有离散时间演化方程、二值放电率，并可由任意分布的噪声驱动。我们给出了膜电位与放电率的条件概率分布及平稳联合概率分布的解析表达式。放电率的条件概率分布使我们能够引入一种新的学习规则，在噪声存在下安全地存储点吸引子与周期吸引子，这在内容寻址存储器领域有重要应用。此外，我们从网络的分岔结构角度研究了神经元动力学。我们解析推导了网络的余维一与余维二分岔图示例，描述了神经元动力学如何随外部刺激变化。特别地，我们发现网络可能在多重稳定态、由非对称突触连接引发的振荡行为以及多种形式的自发对称性破缺之间发生转变。另一方面，联合概率分布使我们能够解析计算网络的高阶相关结构，揭示了膜电位与放电率在统计上或同步或异步的神经元状态。我们的结果对任意数量神经元的网络均成立，但为完整起见，我们也推导了平均场极限下的网络方程并解析研究了其局部分岔。所有解析结果均通过数值模拟得到广泛验证。
引用
@article{arxiv.1702.03183,
title = {Pattern Storage, Bifurcations and Higher-Order Correlation Structure of an Exactly Solvable Asymmetric Neural Network Model},
author = {Diego Fasoli and Anna Cattani and Stefano Panzeri},
journal= {arXiv preprint arXiv:1702.03183},
year = {2017}
}
备注
Main Text: 25 pages, 10 figures. Supplementary Materials: 25 pages, 3 figures. In version 1, we plotted Fig. 7 with an inhibitory current that was different from that stated in the figure caption. We fixed this in version 2, by replotting Fig. 7 with the correct value of the current. Results unchanged