深度学习中的优化方法：全面综述
机器学习
2023-04-25 v2 最优化与控制
摘要
近年来，深度学习在图像识别、自然语言处理和语音识别等各个领域取得了显著成功。深度学习的有效性在很大程度上取决于用于训练深度神经网络的优化方法。在本文中，我们概述了一阶优化方法，如随机梯度下降、Adagrad、Adadelta和RMSprop，以及近期基于动量和自适应梯度的方法，如Nesterov加速梯度、Adam、Nadam、AdaMax和AMSGrad。我们还讨论了深度学习中与优化相关的挑战，并探讨了应对这些挑战的技术，包括权重初始化、批归一化和层归一化。最后，我们为不同深度学习任务和数据集选择优化方法提供了建议。本文可作为深度学习中优化方法的全面指南，并可供该领域的研究人员和从业者参考。
引用
@article{arxiv.2302.09566,
title = {Optimization Methods in Deep Learning: A Comprehensive Overview},
author = {David Shulman},
journal= {arXiv preprint arXiv:2302.09566},
year = {2023}
}
备注
We have decided to withdraw our manuscript 'Optimization Methods in Deep Learning: A Comprehensive Overview' from arXiv as we are now pursuing different research directions. We apologize for any inconvenience and appreciate your understanding