使用递归核方法比较储备池计算拓扑
机器学习
2024-10-07 v3 神经与进化计算
摘要
储备池计算（RC）因其快速高效的计算能力近年来变得流行。标准 RC 已被证明在渐近极限下等价于递归核，这有助于分析其表达能力。然而，许多成熟的 RC 范式，如 Leaky RC、Sparse RC 和 Deep RC，尚未以这种方式得到系统分析。我们定义了所有这些 RC 拓扑的递归核极限，并对广泛的激活函数和超参数进行了收敛性研究。我们的发现为储备池计算的各个方面提供了新的见解。首先，我们证明了存在一个随储备池规模增长的最优稀疏度水平。此外，我们的分析表明，Deep RC 应使用尺寸递减的储备池层。最后，我们进行了一项基准测试，证明了结构化储备池计算相对于普通和稀疏储备池计算的效率。
引用
@article{arxiv.2401.14557,
title = {Comparison of Reservoir Computing topologies using the Recurrent Kernel approach},
author = {Giuseppe Alessio D'Inverno and Jonathan Dong},
journal= {arXiv preprint arXiv:2401.14557},
year = {2024}
}