递归神经网络中用于复杂时空动力学预报的反向传播算法与储层计算
信号处理
2020-02-19 v2 机器学习
流体动力学
摘要
我们考察了递归神经网络在使用储层计算(RC)与基于时间的反向传播(BPTT)处理门控网络架构时,对高维与降阶复杂系统的时空动力学进行预报的效率。我们强调了每种方法的优势与局限,并讨论了它们在并行计算架构上的实现。我们使用 Lorenz-96 与 Kuramoto-Sivashinsky (KS) 方程作为基准,量化了这些算法对混沌系统长期预报的相对预测精度。我们发现,当完整状态动力学可用于训练时,RC 在预测性能与捕获长期统计特性方面优于 BPTT 方法,同时所需训练时间少得多。然而,在降阶数据情形下,大规模 RC 模型可能不稳定,且比 BPTT 算法更容易发散。相反,通过 BPTT 训练的 RNN 展现出更优的预报能力,并能很好地捕获降阶系统的动力学。此外,本研究首次用 BPTT 量化了 KS 方程的 Lyapunov 谱,达到了与 RC 相似的精度。本研究确立 RNN 是学习与预报复杂时空系统的有力计算框架。
引用
@article{arxiv.1910.05266,
title = {Backpropagation Algorithms and Reservoir Computing in Recurrent Neural Networks for the Forecasting of Complex Spatiotemporal Dynamics},
author = {Pantelis R. Vlachas and Jaideep Pathak and Brian R. Hunt and Themistoklis P. Sapsis and Michelle Girvan and Edward Ott and Petros Koumoutsakos},
journal= {arXiv preprint arXiv:1910.05266},
year = {2020}
}
备注
41 pages, submitted to Elsevier Journal of Neural Networks (accepted)