无下降的随机自适应梯度下降
机器学习
2025-09-19 v1 最优化与控制
机器学习
摘要
我们提出了一种新的自适应步长策略，用于凸优化中的随机梯度下降，该策略仅通过一阶随机预言机利用目标函数的局部几何结构，无需任何超参数调优。该方法是对无下降自适应梯度下降(Adaptive Gradient Descent Without Descent)方法在随机设置下的基于理论的改编。我们在各种假设下证明了带有我们步长的随机梯度下降的收敛性，并在经验上展示了其与经过调优的基线的竞争力。
引用
@article{arxiv.2509.14969,
title = {Stochastic Adaptive Gradient Descent Without Descent},
author = {Jean-François Aujol and Jérémie Bigot and Camille Castera},
journal= {arXiv preprint arXiv:2509.14969},
year = {2025}
}