循环网络的记忆容量：我们的计算方式正确吗？

文献中报道的循环神经网络记忆容量（MC）的数值评估结果常与既有的理论界限相矛盾。本文研究线性回声状态网络的情形，其总记忆容量已被证明等于相应卡尔曼能控性矩阵的秩。我们阐明了记忆数值估计不准确的多种原因，并表明这些在近期文献中常被忽视的问题纯粹属于数值性质。更明确地说，我们证明当忽略线性MC的Krylov结构时，理论MC与其经验对应量之间会引入差距。作为解决方案，我们利用MC关于输入掩码矩阵的中立性结果，开发了稳健的数值方法。仿真表明，使用所提方法恢复的记忆曲线与理论完全吻合。