论使用 RNN 学习混沌动力学的困难
机器学习
2022-10-10 v3 动力系统
机器学习
摘要
循环神经网络是用于建模序列和时间序列数据的广泛使用的机器学习工具。它们因在训练过程中随时间反向传播的损失梯度容易饱和或发散而难以训练，这被称为梯度爆炸和消失问题。先前解决此问题的方法要么建立在相当复杂的、带有门控记忆缓冲区的专用架构上，要么——最近——施加约束以确保收敛到一个固定点或限制循环矩阵（的特征谱）。然而，这样的约束严重限制了 RNN 的表达能力。诸如多稳态或混沌等基本的内在动力学被禁用。这与自然界和社会中遇到的许多（如果不是大多数）时间序列的混沌性质本质上是矛盾的。在旨在重建底层动力系统的科学应用中，这尤其成问题。在这里，我们通过将 RNN 训练期间的损失梯度与 RNN 生成轨道的李雅普诺夫谱联系起来，对这个问题进行了全面的理论处理。我们从数学上证明，产生稳定平衡或循环行为的 RNN 具有有界梯度，而具有混沌动力学的 RNN 的梯度总是发散的。基于这些分析和见解，我们提出了如何根据系统的李雅普诺夫谱优化混沌数据训练过程的方法，无论采用何种 RNN 架构。
引用
@article{arxiv.2110.07238,
title = {On the difficulty of learning chaotic dynamics with RNNs},
author = {Jonas M. Mikhaeil and Zahra Monfared and Daniel Durstewitz},
journal= {arXiv preprint arXiv:2110.07238},
year = {2022}
}