神经网络中的盖尔曼-洛临界性
无序系统与神经网络
2022-05-04 v1
摘要
临界性与最优计算能力深度相关。然而，缺乏关于临界脑动力学的重整化理论，迄今将对此类生物信息处理的见解局限于平均场结果。这些方法忽略了临界系统的一个关键特征：所有尺度上自由度之间的相互作用，而这正是实现复杂非线性计算所必需的。我们提出了一个原型神经场理论——随机 Wilson-Cowan 方程——的重整化理论。我们计算了耦合的流，这些耦合参数化了随尺度增大而增强的相互作用。尽管与 Kardar-Parisi-Zhang 模型有相似之处，该理论属于盖尔曼-洛类型，即可重整化量子场论的原型形式。在此，非线性耦合消失，流向高斯不动点，但以对数缓慢的方式，因而在大多数尺度上仍然有效。我们表明这种相互作用的临界结构实现了一种理想的权衡：一方面线性（利于信息存储）最优，另一方面非线性（计算所需）必不可少。
引用
@article{arxiv.2110.01859,
title = {Gell-Mann-Low criticality in neural networks},
author = {Lorenzo Tiberi and Jonas Stapmanns and Tobias Kühn and Thomas Luu and David Dahmen and Moritz Helias},
journal= {arXiv preprint arXiv:2110.01859},
year = {2022}
}