无噪声学习中非线性感知器的腔体方法
无序系统与神经网络
2009-11-07 v1 统计力学
摘要
我们使用腔体方法分析由非线性可微感知器学习带有噪声的教师生成样本。样本的通用激活是其在不学习该样本时感知器激活情况（即腔体激活）的函数。得到宏观参数的均值方程和稳定条件，结果与复制方法一致。当单个腔体激活值对应多个通用激活值时，在学习策略中就会出现在学习特定样本与牺牲其以便调整背景之间之间的竞争。我们发现样本在优先学习或牺牲性学习情况下存在参数区间，从而导致激活分布出现间隙。本文给出该复杂系统的完整相图，理论预测系统中存在从差性能 generalization 状态向好性能 generalization 状态的相变。模拟结果确认了理论预测。
引用
@article{arxiv.cond-mat/0107405,
title = {The Cavity Approach to Noisy Learning in Nonlinear Perceptrons},
author = {Peixun Luo and K. Y. Michael Wong},
journal= {arXiv preprint arXiv:cond-mat/0107405},
year = {2009}
}
备注
13 figures, one table