随机权重回声状态网络的泛化性与逼近界
机器学习
2024-06-05 v3 数值分析
神经与进化计算
数值分析
机器学习
摘要
我们研究具有随机生成内部权重的回声状态网络的均匀逼近。这些模型在训练期间仅优化读出权重，已在动力系统学习中取得经验性成功。近期结果表明具有 ReLU 激活函数的回声状态网络具有泛化性。本文中，我们给出一种替代构造并证明泛化性对一般激活函数成立。具体而言，我们的主要结果表明，在激活函数的一定条件下，存在一种内部权重的采样过程，使得回声状态网络能以高概率逼近任意连续因果时不变算子。特别地，对于 ReLU 激活，我们给出这些采样过程的显式构造。我们还量化了所构造的 ReLU 回声状态网络对充分正则算子的逼近误差。
引用
@article{arxiv.2206.05669,
title = {Universality and approximation bounds for echo state networks with random weights},
author = {Zhen Li and Yunfei Yang},
journal= {arXiv preprint arXiv:2206.05669},
year = {2024}
}