感知机学习动力学的统计力学分析
无序系统与神经网络
2008-02-03 v1
摘要
我们描述了统计力学工具在分析感知机中各类监督学习规则动力学中的应用。本文的性质主要介于有偏见的非百科全书式综述和讲义之间：我们试图呈现该领域基础知识的连贯且自洽的图景，解释其思想和技巧，展示理论预测如何与（模拟）实验比较，并汇集分散的结果。技术细节在附录中明确给出。为避免分散注意力，我们将参考文献集中在最后一节。此外，本文还包含一些新结果：(i) 描述在线和批量学习规则误差演化的宏观方程的显式解，(ii) 对任意宏观可观测量（针对完整和不完整训练集）动力学的分析，导出一个一般的Fokker-Planck方程，以及 (iii) 描述具有完整训练集的批量学习的宏观定律。我们以对训练集不完整（即样本数量与网络规模成线性关系）情况下学习动力学的正在进行的研究的初步阐述来结束本文。
引用
@article{arxiv.cond-mat/9705243,
title = {Statistical Mechanical Analysis of the Dynamics of Learning in Perceptrons},
author = {C. W. H. Mace and A. C. C. Coolen},
journal= {arXiv preprint arXiv:cond-mat/9705243},
year = {2008}
}
备注
56 pages LaTex with Postscript figures included in text