欧拉状态网络:非耗散储备计算
机器学习
2023-03-27 v3 人工智能
机器学习
摘要
受常微分方程数值求解的启发,本文提出一种新颖的储备计算(RC)模型,称为欧拉状态网络(EuSN)。该方法利用前向欧拉离散化与反对称循环矩阵来设计既稳定又非耗散的储备动力学。我们的数学分析表明,所得模型偏向于单位有效谱半径与零局部 Lyapunov 指数,本质上运行于稳定性边缘附近。在长时记忆任务上的实验显示出该方法相较于标准 RC 模型在需要跨多时间步有效传播输入信息问题上的明显优越性。此外,在时间序列分类基准上的结果表明,EuSN 能够匹配(甚至超越)可训练循环神经网络的精度,同时保留 RC 家族的训练效率,带来高达 490 倍的计算时间节省与 1750 倍的能耗节省。
引用
@article{arxiv.2203.09382,
title = {Euler State Networks: Non-dissipative Reservoir Computing},
author = {Claudio Gallicchio},
journal= {arXiv preprint arXiv:2203.09382},
year = {2023}
}
备注
paper submitted to journal