具有重尾突触权重分布的神经网络中的混沌边缘与雪崩
生物物理
2020-07-15 v2 无序系统与神经网络
摘要
我们提出一个具有幂律分布突触强度的可解析处理的神经连接模型。当考虑具有生物学上合理数量传入连接的阈值神经元时，我们的模型呈现出向混沌的连续相变，并能复现生物学上相关的低活动水平与无标度雪崩，即活动爆发的大小和持续时间呈幂律分布。相比之下，高斯对应模型表现出向混沌的不连续相变，因此无法稳定在混沌边缘附近。我们在二值神经元以及泄漏积分发放神经元的网络模拟中验证了我们的预测。我们的结果表明，重尾突触分布可能构成弱信息性的稀疏连接先验，在生物与人工自适应系统中都有用处。
引用
@article{arxiv.1910.05780,
title = {Edge of chaos and avalanches in neural networks with heavy-tailed synaptic weight distribution},
author = {Łukasz Kuśmierz and Shun Ogawa and Taro Toyoizumi},
journal= {arXiv preprint arXiv:1910.05780},
year = {2020}
}
备注
Accepted for publication in Physical Review Letters