广义SignSGD对无界光滑性的鲁棒性
机器学习
2022-08-25 v1 最优化与控制
摘要
非凸优化的传统分析通常依赖于光滑性假设，即要求梯度满足Lipschitz条件。然而，近期证据表明，该光滑条件并未刻画某些深度学习目标函数的性质，包括涉及循环神经网络（RNN）和LSTM的目标函数。它们满足一种更为宽松的条件，具有潜在的无界光滑性。在此宽松假设下，已有理论与实证表明梯度裁剪的SGD相较于原始SGD具有优势。本文中，我们证明在应对此类场景时，裁剪对于Adam型算法并非不可或缺：我们从理论上证明，一种广义SignSGD算法可获得与带裁剪SGD相似的收敛速率，但完全不需要显式裁剪。这类算法一端可退化为SignSGD，另一端则与流行的Adam算法高度相似。我们的分析强调了动量在分析SignSGD型与Adam型算法中的关键作用：它不仅降低了噪声的影响，从而免除了先前SignSGD型算法分析中对大批量（mini-batch）的需求，还大幅削弱了无界光滑性与梯度范数的影响。我们还在一组深度学习任务上将这些算法与流行优化器进行比较，观察到我们可匹配Adam的性能同时胜过其他优化器。
引用
@article{arxiv.2208.11195,
title = {Robustness to Unbounded Smoothness of Generalized SignSGD},
author = {Michael Crawshaw and Mingrui Liu and Francesco Orabona and Wei Zhang and Zhenxun Zhuang},
journal= {arXiv preprint arXiv:2208.11195},
year = {2022}
}