自然神经网络
机器学习
2015-07-02 v1 机器学习
神经与进化计算
摘要
我们引入自然神经网络(Natural Neural Networks)，一类新颖的算法家族，其通过在训练期间调整内部表示以改善 Fisher 矩阵的条件数来加速收敛。特别地，我们展示了一个具体示例，该示例采用简单高效的神经网络权重重参数化，通过隐式白化每层获得的表示，同时保留网络的前馈计算。此类网络可通过提出的投影自然梯度下降算法(Projected Natural Gradient Descent, PRONG)高效训练，该算法将这些重参数化的成本分摊到多次参数更新上，并且与镜像下降(Mirror Descent)在线学习算法密切相关。我们在无监督与监督学习任务上突出了我们方法的优势，并通过在大规模 ImageNet Challenge 数据集上训练展示了其可扩展性。
引用
@article{arxiv.1507.00210,
title = {Natural Neural Networks},
author = {Guillaume Desjardins and Karen Simonyan and Razvan Pascanu and Koray Kavukcuoglu},
journal= {arXiv preprint arXiv:1507.00210},
year = {2015}
}