神经网络不动点的神经定理
神经元与认知
2021-09-16 v3
摘要
非线性网络动力学 notoriously 难以理解。在此我们研究一类称为组合阈值线性网络（CTLNs）的循环神经网络，其动力学由有向图的结构决定。它们是阈值线性网络（TLNs）的特例，而 TLNs 是计算神经科学中建模神经活动的流行框架。在先前工作中，CTLNs 被发现有惊人的数学易处理性。对于小型网络，网络动力学的不动点通常可通过一系列可直接应用于底层图的图规则完全确定。对于较大网络，理解网络的全局结构如何与局部性质相互作用仍是一项挑战。在本工作中，我们提出一种用一组反映活动局部流向的较小有向图覆盖 CTLN 图的方法。有向图可能具有也可能不具有前馈架构，但其不动点结构指示了前馈动力学。图覆盖的组合结构由覆盖的神经（nerve）所刻画。神经是一个更小、更简单的图，更适于图形分析。我们提出三个神经定理，从神经的结构对底层网络的不动点给出强约束。然后我们通过一些例子阐明这些定理的威力。值得注意的是，我们发现神经不仅约束 CTLN 的不动点，还洞察瞬态和渐近动力学。这是因为网络中活动的流向倾向于沿着神经的边。
引用
@article{arxiv.2102.11437,
title = {Nerve theorems for fixed points of neural networks},
author = {Daniela Egas Santander and Stefania Ebli and Alice Patania and Nicole Sanderson and Felicia Burtscher and Katherine Morrison and Carina Curto},
journal= {arXiv preprint arXiv:2102.11437},
year = {2021}
}
备注
25 pages, 17 figures, to appear in Research in Computational Topology volume 2 of the Springer AWM series