具有异构时间尺度稀疏神经网络的随机矩阵理论
神经元与认知
2025-12-19 v1 无序系统与神经网络
机器学习
高能物理 - 理论
概率论
摘要
训练由兴奩(E)和抑制(I)单元组成的循环神经网络，加入加性噪声以进行工作记忆计算，会导致抑制时间尺度变慢和多样化，从而导致更好的任务性能，这已归因于出现边缘不稳定平衡[PNAS 122 (2025) e2316745122]。然而，训练后的网络特征与其在塑造理想动力学景观中所起作用之间的联系仍未探索。本文中，我们检验描述这些平衡附近动力学的Jacobian矩阵，表明它们是稀疏的、非Hermitian矩形块矩阵，受到异构突触衰减时间尺度和激活函数增益的修改。我们指定了一个随机矩阵ensemble，忠实地捕捉训练后Jacobian矩阵的谱；这种ensemble源于抑制核心-兴奩外周网络构型(修剪后的E权重，广分布的I权重)，在训练后观察到。使用统计场论方法开发了该ensemble的解析理论：处理了Jacobian谱密度的Hermite化resolvent表示，采用Fyodorov和Mirlin的形式进行超群处理。通过这种方式，获得了谱边的解析描述，将Jacobian的统计参数(稀疏度、权重方差、E/I比率以及时间尺度和增益的分布)与对于稳健工作记忆计算所必需的平衡的near-critical特征相关联。
关键词
引用
@article{arxiv.2512.12767,
title = {Random matrix theory of sparse neuronal networks with heterogeneous timescales},
author = {Thiparat Chotibut and Oleg Evnin and Weerawit Horinouchi},
journal= {arXiv preprint arXiv:2512.12767},
year = {2025}
}