平衡态内外的梯度下降学习
无序系统与神经网络
2009-10-31 v1 统计力学
摘要
研究了势能梯度下降学习中在线学习的热非平衡动力学过程与热平衡离线学习之间的关系。将Opper研究在线贝叶斯算法的方法推广到基于势能或最大似然学习。我们寻找在最小Kullback-Leibler信息损失意义下最佳逼近离线算法的在线学习算法。该算法通过沿有效势能的梯度更新权重来工作，该有效势能不同于母离线势能。这种非平衡动力学的解释与Griniasty的腔方法有一些相似之处。我们能够分析具有非光滑传递函数的网络，并将光滑性要求转移到势能上。
引用
@article{arxiv.cond-mat/0004047,
title = {Gradient descent learning in and out of equilibrium},
author = {Nestor Caticha and Evaldo Araujo de Oliveira},
journal= {arXiv preprint arXiv:cond-mat/0004047},
year = {2009}
}
备注
08 pages, submitted to the Journal of Physics A