多层神经网络中隐单元间关联与副本对称性破缺
无序系统与神经网络
2009-10-31 v1 统计力学
摘要
我们考虑具有一个隐层、树形架构和固定隐层到输出布尔函数的前馈神经网络。聚焦于存储问题的饱和极限，研究了副本对称性破缺对隐单元局域场分布的影响。这些场分布决定了发现特定隐单元激活模式的概率以及相应的相关系数，从而量化了隐单元间的分工。我们发现，尽管副本对称性破缺显著改变了存储容量和局域场分布，但对相关系数仅有微小影响。给出了K=3个隐单元且非重叠感受野的PARITY、COMMITTEE和AND机器的详细数值结果。
引用
@article{arxiv.cond-mat/9906201,
title = {Correlations between hidden units in multilayer neural networks and replica symmetry breaking},
author = {D. Malzahn and A. Engel},
journal= {arXiv preprint arXiv:cond-mat/9906201},
year = {2009}
}
备注
9 pages, 3 figures, RevTex, accepted for publication in Phys. Rev. E