基于带宽的非凸随机优化步长
机器学习
2021-10-13 v2 最优化与控制
摘要
许多流行的深度神经网络学习率调度将衰减趋势与试图逃离鞍点和不良局部极小值的局部扰动相结合。我们推导了基于带宽的步长的收敛保证，这是一类允许在带状区域内变化的一般化学习率。该框架包含了许多流行的循环和非单调步长，而此前它们没有理论保证。我们针对光滑非凸问题在多种基于带宽的步长下提供了 SGD 的最坏情况保证，包括分段 和流行的步衰减（恒定然后按常数下降），后者也被证明是最优的。此外，我们证明其动量变体收敛速度与采用基于带宽的步衰减步长的 SGD 一样快。最后，我们提出了基于带宽族中的新颖步长方案，并在多个深度神经网络训练任务上验证了它们的效率。
引用
@article{arxiv.2106.02888,
title = {Bandwidth-based Step-Sizes for Non-Convex Stochastic Optimization},
author = {Xiaoyu Wang and Mikael Johansson},
journal= {arXiv preprint arXiv:2106.02888},
year = {2021}
}