基于输入重构的Echo State网络无监督学习
机器学习
2025-07-31 v4 人工智能
信号处理
混沌动力学
神经元与认知
摘要
Echo State网络（ESN）是一类循环神经网络，其中只有读取层是可训练的，而循环层和输入层是固定的。这种架构约束使得处理时序数据具有计算效率。传统上，ESN的读取层使用带有目标输出的监督学习进行训练。本研究聚焦于输入重构（IR），即读取层被训练来重构输入时序数据。我们表明，仅凭借无监督学习（UL），而无需访问监督目标，即可实现IR，前提是ESN的参数已知且满足可逆条件。这一表述使得依赖于IR的应用（如动力系统复制和噪声滤波）能够通过简单地与现有算法集成来重新表述为UL框架。我们的结果表明，先前知识的ESN参数可以减少对监督的依赖，从而建立一种新的原则：不仅通过固定部分网络参数，还通过利用它们的特定值。此外，我们的UL-based算法适用于输入重构及相关任务，适合自主处理，为原理上类似的计算机制在大脑中可能如何运作提供了启发。这些发现深化了对ESN数学基础的理解，并与计算神经科学中的模型相关性。
引用
@article{arxiv.2501.11409,
title = {Unsupervised Learning in Echo State Networks for Input Reconstruction},
author = {Taiki Yamada and Yuichi Katori and Kantaro Fujiwara},
journal= {arXiv preprint arXiv:2501.11409},
year = {2025}
}
备注
35 pages, 11 figures. This paper has been accepted for publication in Neural Computation (MIT Press)