随机优化与变分不等式的高概率界：无界方差情形
最优化与控制
2023-07-19 v2 机器学习
摘要
近年来，优化与机器学习界对随机优化方法高概率收敛的兴趣日益增长。其主要原因之一在于高概率复杂度界比期望意义下的界更为精确且研究较少。然而，当前最先进（SOTA）的高概率非渐近收敛结果是在强假设下导出的，例如梯度噪声方差有界或目标函数梯度本身有界。本文提出了若干在较弱假设下具有高概率收敛结果的算法。具体而言，在梯度/算子噪声的中央 阶矩有界（）的假设下，我们在以下设定中导出新的高概率收敛结果：(i) 光滑非凸 / Polyak-Lojasiewicz / 凸 / 强凸 / 拟强凸最小化问题，(ii) Lipschitz / 星余强制且单调 / 拟强单调变分不等式。这些结果证明了所考虑的方法可用于求解不符合随机优化中标准函数类的问题。
引用
@article{arxiv.2302.00999,
title = {High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance},
author = {Abdurakhmon Sadiev and Marina Danilova and Eduard Gorbunov and Samuel Horváth and Gauthier Gidel and Pavel Dvurechensky and Alexander Gasnikov and Peter Richtárik},
journal= {arXiv preprint arXiv:2302.00999},
year = {2023}
}
备注
ICML 2023. 86 pages. Changes in v2: ICML formatting was applied along with minor edits of the text