神经网络的黎曼度量 I：前馈网络
神经与进化计算
2015-02-04 v5 信息论
机器学习
微分几何
math.IT
摘要
我们描述了四种神经网络训练算法，每种算法适应不同的可扩展性约束。这些算法在数学上具有原则性，并且在数据和网络表示的多种变换下保持不变，因此性能与这些变换无关。这些算法源于微分几何的设定，基于使用Fisher信息矩阵的自然梯度，或基于Hessian方法，并以特定方式缩放以实现可扩展性，同时保留其一些关键数学性质。
引用
@article{arxiv.1303.0818,
title = {Riemannian metrics for neural networks I: feedforward networks},
author = {Yann Ollivier},
journal= {arXiv preprint arXiv:1303.0818},
year = {2015}
}
备注
(5th version, minor changes)