论循环神经网络中的记忆诅咒：逼近与优化分析

我们研究了循环神经网络（RNNs）在用于学习时序数据中输入输出关系时的逼近性质与优化动态。我们考虑使用连续时间线性 RNN 从线性关系生成的数据中学习的简单但具代表性的设定。从数学上看，后者可理解为一系列线性泛函。我们证明了此类线性泛函的通用逼近定理，并刻画了逼近速率及其与记忆的关系。此外，我们对训练线性 RNN 进行了细粒度的动态分析，进一步揭示了记忆与学习之间复杂的交互作用。所揭示的一个统一主题是记忆（一个可在我们的框架中精确化的概念）对逼近和优化的非平凡影响：当目标中存在长期记忆时，需要大量神经元才能逼近它。而且，训练过程将遭遇减速。特别地，这两种效应都随记忆呈指数级加剧——我们称之为“记忆诅咒”。这些分析是朝着具体数学理解使用循环架构学习时序关系时可能出现的新现象迈出的基本一步。