深度学习优化算法比较
机器学习
2020-08-05 v1 机器学习
摘要
近年来，我们见证了深度学习的兴起。深度神经网络已在诸多领域证明其成功。然而，随着神经网络加深与数据集增大，这些网络的优化变得更加困难。因此，过去几年提出了更先进的优化算法。本研究详细考察了深度学习广泛使用的优化算法。为此，这些称为自适应梯度方法的算法在监督与无监督任务中均被实现。通过指出它们相对于基础优化算法的差异，比较了算法在训练期间的行为以及在四个图像数据集（即 MNIST、CIFAR-10、Kaggle Flowers 与 Labeled Faces in the Wild）上的结果。
引用
@article{arxiv.2007.14166,
title = {A Comparison of Optimization Algorithms for Deep Learning},
author = {Derya Soydaner},
journal= {arXiv preprint arXiv:2007.14166},
year = {2020}
}
备注
International Journal of Pattern Recognition and Artificial Intelligence, 2020