有限训练集在线学习的动力学与稳态性质
无序系统与神经网络
2009-11-07 v1
摘要
使用腔方法分析了有限训练集在线学习的动力学与稳态性质。对于大输入维度，我们导出了宏观参数的方程，即学生-教师相关性、学生-学生自相关以及学习力涨落。这使我们能够提供Adaline学习作为基准的解析解。通过蒙特卡洛抽样过程，获得了瞬态和稳态下训练误差的理论预测。发现泛化误差和训练误差与模拟相一致。给出了临界学习率的物理起源。全文讨论了与批量学习的比较。
引用
@article{arxiv.cond-mat/0208578,
title = {Dynamical and Stationary Properties of On-line Learning from Finite Training Sets},
author = {Peixun Luo and K. Y. Michael Wong},
journal= {arXiv preprint arXiv:cond-mat/0208578},
year = {2009}
}
备注
30 pages, 4 figures