储层的复杂拓扑特征塑造了仿生循环神经网络的学习表现
无序系统与神经网络
2022-11-02 v1
摘要
循环网络是一类特殊的人工神经系统,利用其内部状态执行机器学习计算任务。其最先进的发展之一,即储层计算 (RC),利用内部结构——通常是一个具有随机结构的静态网络——将输入信号映射到一个定义于更高维空间中的非线性动力系统。储层的特点是其单元间的非线性相互作用,以及通过循环回路存储信息的能力,从而能够训练人工系统学习特定任务的动力学。然而,储层的随机拓扑如何影响学习表现从根本上仍是未知的。在此,我们填补这一空白:考虑一组具有不同拓扑特征的合成网络,以及 45 个经验连接组——取自属于 8 个不同物种的生物脑区——来构建储层,并针对具有多种复杂输入信号的预测任务测试学习表现。我们发现 RC 表现与节点数及激活状态协方差矩阵的秩之间存在非平凡相关,且表现依赖于输入信号的性质——随机或确定性。值得注意的是,储层的模块度和连边密度被发现会影响 RC 表现:这些结果无法仅考虑储层简单拓扑特征的模型所预测。总体而言,我们的发现强调,表征生物物理计算系统(如连接组)的复杂拓扑特征可用于设计高效的仿生人工神经网络。
引用
@article{arxiv.2211.00161,
title = {Complex topological features of reservoirs shape learning performances in bio-inspired recurrent neural networks},
author = {Valeria d'Andrea and Michele Puppin and Manlio De Domenico},
journal= {arXiv preprint arXiv:2211.00161},
year = {2022}
}
备注
14 pages, 4 figures, 3 supplementary figures