通过状态反馈提升回声状态网络的性能

利用非线性动力系统的储层计算，为涉及序列数据处理、时间序列建模和系统辨识的复杂任务提供了一种经济高效的神经网络替代方案。回声状态网络（ESN）作为储层计算机的一种，模仿神经网络但简化了训练过程。它对内部状态应用固定的随机线性变换，随后进行非线性变化。该过程在输入信号和线性回归的引导下，使系统适应目标特征，从而降低计算需求。ESN的一个潜在缺点是固定储层可能无法提供特定问题所需的复杂度。虽然直接改变（训练）内部ESN会重新引入计算负担，但通过将部分输出重定向为输入可以实现间接修改。这种反馈可以影响内部储层状态，产生具有增强复杂性的ESN，适用于更广泛的挑战。在本文中，我们证明通过将储层状态的某些分量通过输入反馈回网络，可以显著提升给定ESN的性能。我们严格证明，对于任何给定的ESN，反馈几乎总能提高输出的准确性。在一组代表不同问题类别的三个任务中，我们发现使用反馈后平均误差度量降低了30%-60%。值得注意的是，反馈至少提供了与将初始计算节点数量加倍（一种计算昂贵且技术上有挑战性的替代方案）同等的性能提升。这些结果表明了该反馈方案的广泛适用性和巨大实用性。