AdaGrad 步长的普适性：不完全 oracle、加速与方差归约
最优化与控制
2024-06-11 v1
摘要
本文提出针对凸组合优化问题的自适应梯度方法（包括基本形式与加速形式），主要部分为近似光滑（即 -光滑）且仅能通过（可能带偏）随机梯度 oracle 访问。该设置涵盖了 H"older 光滑问题以及各种随机梯度的不完全计算等有趣案例。我们的方法采用 AdaGrad 步长，仅需估计可行集直径即可自适应，却能实现若知相应常数的最佳收敛率。我们通过三类统一的新结果展示了 AdaGrad 步长在多种情形下的有效性：首先，在随机梯度方差均有上界的经典设置下，给出方法的效率保证；其次，在更精细的方差假设下，相同方法无需修改即可隐式实现方差归约，使复杂度估计仅以最小处方差为基准；最后，展示如何将显式的 SVRG 型方差归约纳入方法中以获得更快的算法。三者均提出基本算法与加速算法，实现最新复杂度界。直接由本结果可得适用于 H"older 光滑问题的普适随机梯度方法，可在各种情形下使用。
关键词
引用
@article{arxiv.2406.06398,
title = {Universality of AdaGrad Stepsizes for Stochastic Optimization: Inexact Oracle, Acceleration and Variance Reduction},
author = {Anton Rodomanov and Xiaowen Jiang and Sebastian Stich},
journal= {arXiv preprint arXiv:2406.06398},
year = {2024}
}