二值回声状态网络临界边缘的刻画
神经与进化计算
2018-11-06 v1
摘要
回声状态网络（ESNs）是由储备池和可训练的线性读出层组成的简化循环神经网络模型。储备池可通过一些控制网络行为的超参数进行调节。已知当 ESNs 配置在（超）参数空间中称为临界边缘（Edge of Criticality, EoC）的区域时，在解决任务方面是有效的，在该区域系统对扰动最为敏感，从而影响其行为。在本文中，我们提出二值 ESNs，其在架构上等同于标准 ESNs，但采用二值激活函数和二值循环权重。对于这些网络，我们推导了自主情形下 EoC 的闭式表达式，并进行了仿真以评估其在噪声神经元和存在信号情况下的行为。我们针对输入方差在刻画 EoC 中起主要作用这一事实提出了理论解释。
引用
@article{arxiv.1810.01742,
title = {A characterization of the Edge of Criticality in Binary Echo State Networks},
author = {Pietro Verzelli and Lorenzo Livi and Cesare Alippi},
journal= {arXiv preprint arXiv:1810.01742},
year = {2018}
}