非凸优化自适应方法随机一阶预言复杂度的极小化
机器学习
2021-12-17 v2 最优化与控制
摘要
数值评估已明确表明，对于随机梯度下降、动量和自适应方法等深度学习优化器，训练深度神经网络所需的步数随批量大小每翻倍而减半，并且在临界批量大小之外存在收益递减区域。在本文中，我们利用优化器的随机一阶预言 (SFO) 复杂度的全局极小化来确定实际的临界批量大小。为证明实际临界批量大小的存在性，我们给出 SFO 复杂度的下界和上界，并证明在极小化下界和上界的意义下存在临界批量大小。该证明意味着，若 SFO 复杂度符合下界和上界，则这些临界批量大小的存在性证明了实际临界批量大小的存在性。我们还讨论了 SFO 复杂度符合下界和上界所需的条件，并提供了支持我们理论结果的数值结果。
引用
@article{arxiv.2112.07163,
title = {Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization},
author = {Hideaki Iiduka},
journal= {arXiv preprint arXiv:2112.07163},
year = {2021}
}