实用黎曼神经网络
神经与进化计算
2016-02-26 v1 机器学习
机器学习
摘要
我们提供了针对[Ollivier, 2015]中引入的神经网络准对角黎曼梯度下降在非合成数据集上的首个实验结果。这些数据集包括MNIST、SVHN和FACE数据集，以及一个先前未发布的脑电图数据集。准对角黎曼算法以不同的幅度持续击败简单随机梯度下降。相对于简单反向传播的计算开销约为因子 。或许更有趣的是，这些方法也能快速达到其最终性能，从而需要更少的训练周期和更小的总计算时间。我们还提出了这些用于神经网络的黎曼梯度下降的实现指南，展示了如何在计算梯度的现有例程之上以最小努力实现准对角版本。
引用
@article{arxiv.1602.08007,
title = {Practical Riemannian Neural Networks},
author = {Gaétan Marceau-Caron and Yann Ollivier},
journal= {arXiv preprint arXiv:1602.08007},
year = {2016}
}