真实域最小复杂度储备池的通用性
机器学习
2024-08-16 v1 神经与进化计算
摘要
储备池计算(RC)模型是循环神经网络的一个子类,其特点是固定且不可训练的输入层与动态耦合的储备池,仅训练静态读出层。这种设计避免了通过时间反向传播误差信号的问题,从而增强了稳定性和训练效率。RC模型已成功应用于广泛的领域。关键的是,已证明在各种逼近范数和输入驱动源的设置下,它们是带衰减记忆的时不变动态滤波器的通用逼近器。简单循环储备池(SCR)是RC模型的一个专门类别,具有高度受限的储备池架构,特征为均匀环形连接和具有非周期符号模式的二值输入到储备池权重。对于线性储备池,给定储备池大小,储备池构建只有一个自由度——储备池循环权重。这类架构在许多实际任务中特别适合硬件实现,且不会显著降低性能。本研究通过证明在实域中运行的SCR是带衰减记忆的时不变动态滤波器的通用逼近器,为这些观察提供了坚实的理论基础。我们的结果补充了近期研究,表明复域中的SCR可以以任意精度逼近任何带非线性读出的无约束线性储备池。我们进一步提出了一种大幅减少SCR单元数量的新方法,使此类高度受限的架构成为低复杂度硬件实现的天然候选。我们的发现得到了真实世界时间序列数据集实证研究的支持。
引用
@article{arxiv.2408.08071,
title = {Universality of Real Minimal Complexity Reservoir},
author = {Robert Simon Fong and Boyu Li and Peter Tiňo},
journal= {arXiv preprint arXiv:2408.08071},
year = {2024}
}
备注
19 pages, 5 figures