超球面上的储备池计算

储备池计算（Reservoir Computing, RC）是指一种递归神经网络（Recurrent Neural Networks, RNNs）框架，常用于序列学习和时间序列预测。RC 系统由一个随机固定权重的 RNN（输入-隐藏储备池层）和一个分类器（隐藏-输出读出层）组成。这里我们关注序列学习问题，并探索一种不同的 RC 方法。更具体地说，我们移除了非线性神经激活函数，并考虑一个作用于单位超球面上归一化状态的正交储备池。令人惊讶的是，我们的数值结果表明，系统的记忆容量超过了储备池的维数，而这是基于 Echo State Networks (ESNs) 的典型 RC 方法的上限。我们还展示了如何将所提出的系统应用于对称密码学问题，并包含了一个数值实现。