基于限制等距性质的网络短期记忆容量
信息论
2015-03-05 v4 神经与进化计算
math.IT
摘要
皮层网络被假设依赖于瞬态网络活动来支持短期记忆（STM）。在本文中，我们研究了随机连接的循环线性网络在输入信号于某基底下近似稀疏时执行 STM 的容量。我们利用压缩感知的结果提供了严格的非渐近恢复保证，量化了输入稀疏度水平、输入稀疏基底和网络特性对系统容量的影响。我们的分析表明，网络记忆容量可以随节点数量超线性缩放，并且在某些情况下可以实现远大于网络规模的 STM 容量。我们为有限序列提供了完美恢复保证，并为无限序列提供了恢复界。后者的分析预测，网络 STM 系统可能存在一个最佳恢复长度，以平衡遗漏错误和召回错误。此外，我们表明产生最佳 STM 容量的条件可以体现在多种网络拓扑结构中，包括具有稀疏或密集连接性的网络。
引用
@article{arxiv.1307.7970,
title = {Short Term Memory Capacity in Networks via the Restricted Isometry Property},
author = {Adam S. Charles and Han Lun Yap and Christopher J. Rozell},
journal= {arXiv preprint arXiv:1307.7970},
year = {2015}
}
备注
50 pages, 5 figures