SignSVRG：通过方差缩减修正 SignSGD
最优化与控制
2023-05-23 v1 机器学习
摘要
我们考虑函数有限和的无约束最小化问题。我们提出一种简单而实用的方法，将方差缩减技术引入 SignSGD，保证收敛性类似于全符号梯度下降。该核心思想首先实例化为最小化凸且 Lipschitz 函数之和的问题，随后通过方差缩减推广至光滑情形。我们的分析是初等的，比典型的方差缩减方法证明简单得多。我们证明，对于光滑函数，我们的方法在梯度期望范数上给出 O(1/√T) 的收敛率，在光滑凸函数情形下给出 O(1/T) 的收敛率，恢复了确定性方法的收敛结果，同时保留了 SignSGD 的计算优势。
引用
@article{arxiv.2305.13187,
title = {SignSVRG: fixing SignSGD via variance reduction},
author = {Evgenii Chzhen and Sholom Schechtman},
journal= {arXiv preprint arXiv:2305.13187},
year = {2023}
}