关于循环神经网络学习时间感知行为的动力学研究

循环神经网络（RNNs）在建模时间依赖模式方面取得了巨大成功，但关于其所学习的潜在时间特征表示以及这些表示在训练过程中的涌现机制的研究仍然有限。为弥补这一不足，我们利用时间自动机（TA）引入了一类受监督学习任务，用于建模依赖于隐藏时间变量的行为，其复杂度可直接控制。基于以往从动力系统视角出发的研究，我们训练 RNNs 来模拟时间触发器（temporal flipflops），这是一组新的 TA，强调相对于长期记忆而言对时间感知的需求。我们发现这些 RNNs 分阶段学习：它们迅速完善任何与时间无关的行为，但最初难以发现隐藏的时间依赖特征。在周期性“时刻（time-of-day）”感知自动机的情况下，我们表明 RNNs 学会在周期性轨道之间切换，这些轨道以时间对转移规则周期取模来编码时间。随后我们应用不动点稳定性分析来监测训练过程中 RNN 动力学的变化，并观察到学习阶段由一个分岔分隔，周期性行为从该分岔中涌现。通过这种方式，我们展示了动力系统理论如何不仅能提供对这些模型所学表示的洞察，也能提供对学习过程本身动力学的洞察。我们认为这种分析风格可能为循环架构在时间感知之外情境下的训练病态提供见解。