利用近似状态空间模型预测液体状态机性能
神经与进化计算
2019-01-21 v1
摘要
液体状态机（LSM）是一种受大脑启发的架构，用于解决语音识别和时间序列预测等问题。LSM 由随机连接的脉冲神经元循环网络组成。该网络传播非线性的神经元与突触动力学。Maass 等人认为，LSM 的非线性动力学作为其通用计算机的性能至关重要。用于表征网络“非线性”的 Lyapunov 指数（mu）与 LSM 性能密切相关。我们提出了一种用线性状态空间表示近似 LSM 动力学的补充方法。该模型的脉冲速率与 LSM 的脉冲速率高度相关。这种等价性允许从状态转移矩阵中提取“记忆”度量（tau_M）。tau_M 与性能显示出高度相关性。此外，高 tau_M 系统需要更少的 epoch 来达到给定准确率。由于计算成本低廉（比 LSM 高效 1800 倍），tau_M 度量能够探索庞大的参数设计空间。我们观察到，在多个数据集的高性能区间内，tau_M 的性能相关性超过了 Lyapunov 指数（mu）（提升 2-4 倍）。事实上，虽然 mu 随网络活动单调增加，但性能在文献中称为“混沌边缘”的特定活动处达到最大值。另一方面，即使 mu 单调增加，tau_M 仍与 LSM 性能相关。因此，tau_M 捕获了使 LSM 性能得以实现的有用网络活动记忆。它还实现了快速的 design space 探索与 LSM 参数的高性能微调。
引用
@article{arxiv.1901.06240,
title = {Predicting Performance using Approximate State Space Model for Liquid State Machines},
author = {Ajinkya Gorad and Vivek Saraswat and Udayan Ganguly},
journal= {arXiv preprint arXiv:1901.06240},
year = {2019}
}
备注
Submitted to IJCNN 2019