梯度噪声极强时仍实现 Nesterov 加速
机器学习
2024-11-04 v3 机器学习
最优化与控制
摘要
我们给出了 Nesterov 加速梯度下降算法的一种推广。我们的算法（AGNES）在具有噪声梯度估计的光滑凸与强凸最小化任务中，若噪声强度与每一点处梯度的大小成正比，则可证明地实现加速。Nesterov 方法在比例常数小于 1 时以加速速率收敛，而 AGNES 可容纳任意信噪比。该噪声模型受过参数化机器学习应用的启发。AGNES 在凸最小化任务中仅需两个参数，在强凸最小化任务中仅需三个参数，优于现有方法。我们进一步给出了清晰的几何解释以及参数选取的启发式方法。
引用
@article{arxiv.2302.05515,
title = {Nesterov acceleration despite very noisy gradients},
author = {Kanan Gupta and Jonathan W. Siegel and Stephan Wojtowytsch},
journal= {arXiv preprint arXiv:2302.05515},
year = {2024}
}
备注
Accepted to NeurIPS 2024