随机凸优化的通用梯度方法
最优化与控制
2024-07-12 v2
摘要
我们为随机凸优化（SCO）开发了通用梯度方法。我们的算法不仅能自动适应预言机的噪声，还能自动适应目标函数的Hölder光滑性，而无需预先了解具体设置。其关键创新在于一种在随机梯度方法（SGD）中调整步长系数的新策略。与累积梯度范数的AdaGrad不同，我们的通用梯度方法累积梯度差和迭代差的适当组合。由此产生的算法对整个Hölder函数类具有最先进的在最坏情况下的收敛速度保证，特别地，既包括非光滑函数，也包括具有Lipschitz连续梯度的函数。我们还提出了具有最优效率估计的通用快速梯度方法。
引用
@article{arxiv.2402.03210,
title = {Universal Gradient Methods for Stochastic Convex Optimization},
author = {Anton Rodomanov and Ali Kavis and Yongtao Wu and Kimon Antonakopoulos and Volkan Cevher},
journal= {arXiv preprint arXiv:2402.03210},
year = {2024}
}