稀释对非对称递归神经网络的影响

我们通过数值模拟研究了由 N 个二值神经元组成的同步离散时间确定性递归神经网络，其可能极限行为随网络稀释度与非对称性的变化关系。网络稀释度衡量相连神经元对的比例，网络非对称性衡量底层连接矩阵的非对称程度。对每一给定神经网络，我们研究所有不同初始条件的动力学演化，从而在不施加任何学习规则的情况下刻画完整动力学图景。由于确定性动力学，每条轨迹收敛至一个吸引子，可为不动点或极限环。这些吸引子构成该神经网络所有可能极限行为的集合。对每一网络，我们进而确定收敛时间、极限环长度、吸引子数目及吸引子吸引域大小。我们表明存在两类使可能极限行为数目最大的网络结构。第一类最优网络结构为全连接且对称。相反，第二类最优网络结构为高度稀疏且非对称。后一类最优结构类似于在不同生物神经元回路中所观察到的情形。这些观察引致我们推测：独立于任何给定学习模型，一个能存储接近其最大容量的极限行为数目的高效生物网络，往往发展出与我们所发现最优网络之一相似的连接结构。