中文

具有随机连接矩阵的线性储备池的分离容量

机器学习 2025-03-24 v3 机器学习 概率论

摘要

关于储备池计算在通用任务中取得成功的一个自然假设是,未经训练的储备池能够将不同的输入时间序列映射到可分离的储备池状态——我们将其称为分离容量。我们提供了一个严格的数学框架来量化随机线性储备池的这一容量,表明它完全由随机储备池连接矩阵的广义矩阵的谱性质所表征。我们的分析重点在于具有高斯连接矩阵的储备池,包括对称和独立同分布矩阵,尽管这些技术可以自然地扩展到更广泛的随机矩阵类。在对称情形下,广义矩阵是 Hankel 矩阵。利用随机矩阵理论的经典估计,我们证明了分离容量会随时间推移而恶化,并且对于短输入,当矩阵元素以因子 ρT/N\rho_T/\sqrt{N} 缩放时,大型储备池可实现最优分离,其中 NN 是储备池维度,ρT\rho_T 取决于最大输入长度。在独立同分布情形下,我们证明了当储备池矩阵的元素以精确因子 1/N1/\sqrt{N} 缩放时,大型储备池始终能够实现最优分离,这与储备池计算的常见实现相一致。我们进一步给出了分离质量作为时间序列长度的函数的上界。我们通过研究这种分离的可能性及其在不同架构选择下的一致性来补充这一分析。

关键词

引用

@article{arxiv.2404.17429,
  title  = {Separation capacity of linear reservoirs with random connectivity matrix},
  author = {Youness Boutaib},
  journal= {arXiv preprint arXiv:2404.17429},
  year   = {2025}
}