深度学习优化器综述——一阶与二阶方法
机器学习
2023-09-28 v2 计算机视觉与模式识别
最优化与控制
摘要
深度学习优化涉及在权重空间中最小化一个高维损失函数，这通常因其固有的困难（如鞍点、局部极小值、海森矩阵的病态条件以及有限的计算资源）而被认为是困难的。在本文中，我们全面回顾了 14 种成功用于深度学习研究的标准优化方法，并从优化文献的角度对数值优化中的困难进行了理论评估。
引用
@article{arxiv.2211.15596,
title = {A survey of deep learning optimizers -- first and second order methods},
author = {Rohan Kashyap},
journal= {arXiv preprint arXiv:2211.15596},
year = {2023}
}