多层神经网络自然梯度下降的分析
无序系统与神经网络
2009-10-31 v1 统计力学
摘要
自然梯度下降是一种自适应统计模型参数的原则性方法，它利用底层的黎曼参数空间来重新定义最速下降方向。通过统计物理方法对该算法进行了检验，这些方法能够准确表征其瞬态和渐近行为。在大输入维度极限下，获得了多层神经网络训练情况下的学习动力学解。我们发现，自然梯度学习带来了最优的渐近性能，并且在瞬态阶段优于梯度下降，显著缩短甚至消除了瞬态泛化性能中通常阻碍梯度下降训练的平台期。
引用
@article{arxiv.cond-mat/9901212,
title = {Analysis of Natural Gradient Descent for Multilayer Neural Networks},
author = {Magnus Rattray and David Saad},
journal= {arXiv preprint arXiv:cond-mat/9901212},
year = {2009}
}
备注
14 pages including figures. To appear in Physical Review E