循环神经网络中门控机制的理论
无序系统与神经网络
2021-12-02 v5 统计力学
机器学习
混沌动力学
神经元与认知
摘要
循环神经网络（RNNs）是强大的动力学模型，广泛应用于机器学习（ML）和神经科学。先前的理论工作集中于具有加性交互的 RNN。然而，门控——即乘性——交互在真实神经元中无处不在，也是 ML 中性能最佳的 RNN 的核心特征。在此，我们表明门控可灵活控制集体动力学的两个显著特征：i) 时间尺度和 ii) 维度。控制时间尺度的门导致一种新颖的、边际稳定的状态，其中网络作为灵活积分器发挥作用。与以往方法不同，门控无需参数微调或特殊对称性即可实现这一重要功能。门还提供了一种灵活的、依赖于上下文的机制来重置记忆痕迹，从而补充了记忆功能。调制维度的门可诱导一种新颖的、不连续的混沌转变，其中输入将稳定系统推至强混沌活动，这与输入典型的稳定效应相反。在此转变处，与加性 RNN 不同，临界点的大量涌现（拓扑复杂性）与混沌动力学的发生（动力学复杂性）脱钩。丰富的动力学总结于相图中，从而为 ML 从业者提供了原则性参数初始化选择的地图。
引用
@article{arxiv.2007.14823,
title = {Theory of gating in recurrent neural networks},
author = {Kamesh Krishnamurthy and Tankut Can and David J. Schwab},
journal= {arXiv preprint arXiv:2007.14823},
year = {2021}
}
备注
13 figures