中文

作为状态空间模型的回声状态网络:系统视角

机器学习 2025-09-05 v1

摘要

回声状态网络(ESNs)通常被呈现为高效的、仅训练读出层的循环模型,然而其动力学和设计往往由启发式方法而非第一性原理指导。我们将 ESNs 明确地重塑为状态空间模型(SSMs),提供了一个统一的系统理论阐述,将储备池计算与经典系统辨识和现代核化 SSMs 联系起来。首先,我们证明回声状态性质是收缩非线性 SSM 的输入-状态稳定性的一个实例,并推导出基于泄漏率、谱缩放和激活函数 Lipschitz 常数的可验证条件。其次,我们建立了两种互补的映射:(i)小信号线性化,产生具有可解释极点和记忆范围的局部有效 LTI SSM;(ii)提升/Koopman 随机特征展开,将 ESN 转化为增广状态下的线性 SSM,从而能够进行传递函数和卷积核分析。这一视角产生了记忆谱的频域表征,并阐明了 ESN 何时模拟结构化 SSM 核。第三,我们将教师强制视为状态估计,并提出卡尔曼/EKF 辅助的读出层学习,结合用于超参数(泄漏率、阻尼比、过程/测量噪声)的 EM 算法,以及在收缩约束下进行阻尼整形的混合子空间过程。

关键词

引用

@article{arxiv.2509.04422,
  title  = {Echo State Networks as State-Space Models: A Systems Perspective},
  author = {Pradeep Singh and Balasubramanian Raman},
  journal= {arXiv preprint arXiv:2509.04422},
  year   = {2025}
}

备注

27 pages, 1 figure