非线性递归网络的内存容量：是否具有信息价值？
机器学习
2025-09-03 v2 机器学习
摘要
线性递归神经网络（RNN）的总内存容量（MC）已被证明等于相应卡尔曼可控性矩阵的秩，并且对于从正则分布中抽取的连接矩阵和输入权重矩阵，它几乎必然是最大的。这一事实质疑了该指标在区分线性RNN处理随机信号性能方面的有用性。本工作表明，随机非线性RNN的MC在既定的上下界内产生任意值，这些值完全取决于输入过程的尺度。这证实了现有线性与非线性情况下MC的定义没有实用价值。
引用
@article{arxiv.2502.04832,
title = {Memory Capacity of Nonlinear Recurrent Networks: Is it Informative?},
author = {Giovanni Ballarin and Lyudmila Grigoryeva and Juan-Pablo Ortega},
journal= {arXiv preprint arXiv:2502.04832},
year = {2025}
}
备注
10 pages, 2 figures