稳定边缘回声状态网络

回声状态网络（ESN）是在回声状态性质（ESP）原理下工作的时间序列处理模型。ESP 是一种稳定性概念，它强制对输入记忆的渐近消退。另一方面，ESN 由此产生的固有架构偏置可能导致信息的过度丢失，进而损害某些具有长短时记忆需求的任务中的性能。为了兼顾消退记忆特性与尽可能保留记忆的能力，本文引入了一种新的 ESN 架构，称为稳定边缘回声状态网络（ES$^2$N）。所引入的 ES$^2$N 模型将储备层定义为非线性储备层（如标准 ESN 中）与实现正交变换的线性储备层的凸组合。我们对所引入模型进行了详尽的数学分析，证明了 ES$^2$N 映射的 Jacobian 的整个特征谱可被包含在可控半径的复圆环形邻域内，并利用该性质证明 ES$^2$N 的前向动力学按设计演化于混沌边缘 regime 附近。值得注意的是，我们的实验分析表明，新引入的储备层模型能够达到理论最大短时记忆容量。同时，与标准 ESN 相比，ES$^2$N 被证明在记忆与非线性之间提供了优异的权衡，并在自回归非线性建模中实现了性能的显著提升。