驱动型随机循环网络在混沌边缘前的最优短期记忆
适应与自组织系统
2019-12-25 v1 无序系统与神经网络
机器学习
神经与进化计算
摘要
通过平均场理论研究了离散时间非线性循环神经网络存储时变小输入信号的能力。小输入强度与平均场假设的结合使得可以推导出给定过去输入信号的神经元状态条件概率密度的近似表达式。由该条件概率密度，我们可解析计算短期记忆度量，如记忆容量、互信息和Fisher信息，并确定这些度量之间的关系，据我们所知迄今尚未阐明。我们表明，这些短期记忆度量的网络贡献在混沌边缘之前达到峰值，此时输入驱动网络的动力学稳定但对应无输入信号的系统不稳定。
引用
@article{arxiv.1912.11213,
title = {Optimal short-term memory before the edge of chaos in driven random recurrent networks},
author = {Taichi Haruna and Kohei Nakajima},
journal= {arXiv preprint arXiv:1912.11213},
year = {2019}
}