循环神经网络中缓慢演化的几何 I：极端稀疏 regime
无序系统与神经网络
2009-11-10 v1 统计力学
摘要
我们研究了由神经网络构成的极端稀疏自旋模型，其中连通性随时间演化，尽管相对于神经元而言演化速度极慢，按照旨在降低矛盾的随机方程进行。（快速的）神经元和（缓慢的）连通性变量分别在不同的温度下进行热平衡。我们的模型在平衡状态下可完全求解。我们通过采用浓缩假设（即记忆一个模式）得到相图。结果表明，随着连通性温度的降低，检索相的体积会发展扩大，误对齐自旋的比例会降低。尽管如此，总会保留检索相中一个区域，其中除对应‘浓缩’模式的记忆状态之外的其他记忆状态也是局部稳定的，因此我们的模型的联想记忆特性得以保持。
引用
@article{arxiv.cond-mat/0403615,
title = {Slowly evolving geometry in recurrent neural networks I: extreme dilution regime},
author = {B. Wemmenhove and N. S. Skantzos and A. C. C. Coolen},
journal= {arXiv preprint arXiv:cond-mat/0403615},
year = {2009}
}
备注
18 pages, 6 figures