通过连续时间动力系统视角看待门控循环单元
机器学习
2021-07-30 v2 机器学习
摘要
门控循环单元（GRUs）是用于构建循环神经网络的专用记忆单元。尽管它们在包括提取神经数据底层动力学在内的各种任务上取得了令人难以置信的成功，但人们对于GRU网络中可表示的特定动力学知之甚少。因此，既难以先验地知道GRU网络在给定任务上的表现如何，也难以知道它们模仿其生物对应物底层行为的能力。利用连续时间分析，我们获得了对GRU网络内部工作机制的直观理解。我们将表述限制在低维，以便进行全面的 Visualization。我们发现了丰富得令人惊讶的动力学特征库，包括稳定极限环（非线性振荡）、具有各种拓扑的多稳态动力学，以及同宿分岔。与此同时，我们未能训练GRU网络产生连续吸引子，而连续吸引子被假设存在于生物神经网络中。我们将不同观测动力学的效用置于语境中，并通过实验支持我们的主张。
引用
@article{arxiv.1906.01005,
title = {Gated recurrent units viewed through the lens of continuous time dynamical systems},
author = {Ian D. Jordan and Piotr Aleksander Sokol and Il Memming Park},
journal= {arXiv preprint arXiv:1906.01005},
year = {2021}
}