本征正交分解在回声状态网络中的研究
机器学习
2023-05-29 v3 神经与进化计算
系统与控制
系统与控制
摘要
回声状态网络(ESN)是一类递归神经网络,在表示时间序列和非线性动力系统方面取得了有前景的结果。尽管它们配备了非常高效的训练过程,但储备池计算策略(如ESN)需要高阶网络,即大量神经元,导致状态数量远大于模型输入和输出的数量级。大量的状态不仅使时间步计算成本更高,还可能引发鲁棒性问题,尤其是在将ESN应用于模型预测控制(MPC)和其他最优控制问题时。规避此复杂性问题的一种方法是通过模型降阶策略,如本征正交分解(POD)及其变体(POD-DEIM),从而为一个已训练的高维ESN找到等价的低阶表示。为此,本工作旨在研究和分析POD方法在回声状态网络中的性能,通过比较POD降阶网络与原(全阶)ESN的记忆容量(MC)来评估其有效性。我们还在两个数值案例研究上进行了实验:一个NARMA10差分方程和一个包含两口井和一条立管的石油平台。结果表明,与原ESN相比,POD降阶对应网络的性能损失很小,且POD降阶ESN的性能往往优于同等规模的普通ESN。此外,POD降阶网络相比原ESN实现了约的加速。
引用
@article{arxiv.2211.17179,
title = {Investigation of Proper Orthogonal Decomposition for Echo State Networks},
author = {Jean Panaioti Jordanou and Eric Aislan Antonelo and Eduardo Camponogara and Eduardo Gildin},
journal= {arXiv preprint arXiv:2211.17179},
year = {2023}
}
备注
Accepted in Neurocomputing, not yet published