深层残差回声状态网络：探索未训练循环神经网络中的残差正交连接
机器学习
2026-01-30 v2 人工智能
摘要
回声状态网络（ESN）是一种特定类型的未训练循环神经网络（RNN），在储备计算（RC）框架中因其快速高效学习而备受欢迎。然而，传统ESN在处理长期信息方面常常面临挑战。本文引入一种新型深层未训练RNN，基于时间残差连接，称为深层残差回声状态网络（DeepResESN）。我们表明，利用层次化的未训练残差循环层可显著提升记忆容量和长期时序建模能力。对于时间残差连接，我们考虑不同的正交配置，包括随机生成和固定结构配置，并研究其对网络动力学的影响。对DeepResESN的严格数学分析揭示了确保稳定动力学的必要充分条件。我们在多种时间序列任务上的实验表明，所提出的方法优于传统的浅层和深层RC。
引用
@article{arxiv.2508.21172,
title = {Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks},
author = {Matteo Pinna and Andrea Ceni and Claudio Gallicchio},
journal= {arXiv preprint arXiv:2508.21172},
year = {2026}
}
备注
10 pages, 5 figures, 4 tables; minor fixes to tables