为深度学习适配弹性传播算法
神经与进化计算
2015-09-17 v2 计算机视觉与模式识别
机器学习
机器学习
摘要
弹性传播（Rprop）算法在各类应用中用于多层前馈神经网络的反向传播训练时一直非常流行。然而，标准 Rprop 在深度神经网络的背景下会遇到困难，这与基于梯度的学习算法通常遇到的情况类似。本文中，我们提出了一种 Rprop 的改进方案，将标准 Rprop 步骤与一种特殊的丢弃技术相结合。我们将该方法应用于训练深度神经网络，既作为独立组件，也用于集成形式。在 MNIST 数据集上的结果表明，所提出的改进缓解了标准 Rprop 的问题，展现出更高的学习速度和准确率。
引用
@article{arxiv.1509.04612,
title = {Adapting Resilient Propagation for Deep Learning},
author = {Alan Mosca and George D. Magoulas},
journal= {arXiv preprint arXiv:1509.04612},
year = {2015}
}
备注
Published in the proceedings of the UK workshop on Computational Intelligence 2015 (UKCI)