从临界神经元的相干耦合中涌现自组织学习

深度人工神经网络已在广泛的复杂学习任务中超越人类水平，成为社会应用和科学研究中不可或缺的工具。尽管取得这些进展，人工神经网络训练的底层机制仍然尚不明了。本文提出，人工神经网络是一种自适应的、自组织的信息处理系统，其训练由高度激活的、任务特定的临界神经元之间的相干耦合所主导。我们展示，此类神经元耦合导致出现类 Hebston 关联图，这些图在训练初期经历动态的二级连通性相位转变。同时，临界神经元之间的连接权重得到持续强化，同时以随机方式被重新分配。结果建立了神经元贡献的精确平衡，引发随机损失景观中的局部浓度，为泛化能力提供了理论解释。我们进一步识别出一种后期收敛相位转变，其在超参数空间中表现为相位边界，由通过权重空间的非平衡概率通量驱动。由相干耦合产生的关键计算图也解码了人工神经网络所学习的预测规则，与生物神经电路中观察到的类似avalanche式动力学形成类比。我们的发现表明，临界神经元的相干耦合以及随之而来的损失景观中的局部浓度，可能是人工和生物神经计算所共享的普适学习机制。