META-STORM:面向无界函数的广义全自适应方差缩减SGD
机器学习
2022-09-30 v1 数据结构与算法
摘要
我们研究将方差缩减(VR)技术应用于一般非凸随机优化问题。在此设定下,Cutkosky-Orabona '19近期的工作STORM克服了早期VR方法所依赖的计算“大批量”梯度的缺陷。其中,STORM利用递归动量实现VR效果,随后在STORM+ [Levy et al., '21]中实现了全自适应,全自适应消除了获取某些问题特定参数(如目标的平滑性以及随机梯度方差与范数的界)以设定步长的需求。然而,STORM+关键性地依赖于函数值有界的假设,从而排除了大量有用函数。本工作中,我们提出META-STORM,一种STORM+的广义框架,去除了该有界函数值假设,同时仍达到非凸优化的最优收敛速率。META-STORM不仅保持全自适应,免除了获取问题特定参数的需要,还改善了收敛速率对问题参数的依赖。此外,META-STORM可利用涵盖先前方法的大范围参数设定,从而在更广设定中允许更多灵活性。最后,我们通过常见深度学习任务上的实验展示了META-STORM的有效性。在加入逐坐标更新与指数移动平均启发式后,我们的算法优于先前工作STORM+,并与广泛使用的算法具有竞争力。
引用
@article{arxiv.2209.14853,
title = {META-STORM: Generalized Fully-Adaptive Variance Reduced SGD for Unbounded Functions},
author = {Zijian Liu and Ta Duy Nguyen and Thien Hang Nguyen and Alina Ene and Huy L. Nguyen},
journal= {arXiv preprint arXiv:2209.14853},
year = {2022}
}