梯度方法在复合噪声梯度下的收敛速率下界与上界
最优化与控制
2026-03-16 v1
摘要
我们对一阶方法在梯度中含有复合噪声（相对噪声与绝对噪声之和）的收敛进行详尽分析，用于凸函数最小化。本文阐述了实际问题中必需使用不精确或无噪声 oracle 的实例，如有偏压缩器、浮点运算和无梯度优化。我们提出一种 optimally 累积绝对误差的算法，其中间收敛性取决于噪声的相对分量。重启技术、正则化转换和停止准则已被证明可用于各种函数类的情形。此外，还提供一种适用于相对噪声参数的梯度下降算法。对于相对噪声，给出收敛下界，确认噪声参数对问题条件数的依赖性。
引用
@article{arxiv.2603.12376,
title = {Lower and upper bounds of the convergence rate of gradient methods with composite noise in gradient},
author = {Artem Vasin and Alexander Gasnikov},
journal= {arXiv preprint arXiv:2603.12376},
year = {2026}
}