由 Tikhonov 最小二乘训练的回声状态网络是遍历动力系统的 L2(μ) 逼近器
机器学习
2021-04-07 v2 动力系统
机器学习
摘要
回声状态网络（ESN）是一类单层循环神经网络，具有随机生成的内部权重和单层可调节的外部权重，通常通过正则化线性最小二乘回归进行训练。值得注意的是，尽管训练过程完全线性，ESN 仍具备通用逼近性质。在本文中，我们证明：一个在遍历动力系统（具有不变测度 ）的观测序列上，针对一组目标使用 Tikhonov 最小二乘回归训练的 ESN，将在 范数下逼近目标函数。在目标为未来观测的特殊情况下，ESN 学习的是下一步映射，可用于时间序列预测。我们通过在一个 Lorenz 系统的标量观测序列上使用 Tikhonov 最小二乘训练 ESN，对该理论进行了数值验证。
引用
@article{arxiv.2005.06967,
title = {Echo State Networks trained by Tikhonov least squares are L2({\mu}) approximators of ergodic dynamical systems},
author = {Allen G Hart and James L Hook and Jonathan H P Dawes},
journal= {arXiv preprint arXiv:2005.06967},
year = {2021}
}
备注
11 pages, 5 figures