打破回声状态网络储层方程的对称性
数据分析、统计与概率
2020-12-25 v2 神经与进化计算
摘要
储层计算已多次被证明在非线性时间序列预测方面极为成功。然而,对于储层的恰当设计尚无完整理解。我们发现最简单的主流设置具有一种有害的对称性,会导致我们所称之为镜像吸引子的预测。我们从解析上证明了这一点。类似问题可在一般背景下出现,我们借此解释某些设计的成功或失败。该对称性是双曲正切激活函数的直接后果。进一步,我们从数值上比较了四种打破对称性的方法:输出中的偏置、输入中的偏移、读出中的二次项,以及奇偶激活函数的混合。首先,我们测试它们对镜像吸引子的敏感性。其次,我们在预测均值平移至零的 Lorenz 数据任务上评估其性能。短时预测通过预测 horizon 度量,而最大 Lyapunov 指数与关联维数用于表示气候。最后,在同一分析在 Lorenz 吸引子与 Halvorsen 吸引子的组合数据集上重复进行,该数据集为我们为揭示潜在对称问题而设计。我们发现,除输出偏置外,所有方法均能完全打破对称性,其中输入偏移与二次读出总体表现最佳。
引用
@article{arxiv.2010.07103,
title = {Breaking Symmetries of the Reservoir Equations in Echo State Networks},
author = {Joschka Herteux and Christoph Räth},
journal= {arXiv preprint arXiv:2010.07103},
year = {2020}
}
备注
14 pages, 10 figures, accepted by chaos