加速的无参数随机优化
机器学习
2024-07-08 v2 最优化与控制
摘要
我们提出了一种方法，对于光滑随机凸优化能够达到近最优收敛速率，且本质上不需要问题参数的任何先验知识。这改进了先前至少需要知道到最优解初始距离 的工作。我们的方法 U-DoG 将 UniXGrad (Kavis et al., 2019) 和 DoG (Ivgi et al., 2023) 与新颖的迭代稳定技术相结合。它仅需对 和噪声幅度设定宽松的界，在次高斯噪声下提供高概率保证，并且在非光滑情形下同样是近最优的。我们的实验表明，该方法在凸问题上表现出持续且强劲的性能，而在神经网络训练中结果不一。
引用
@article{arxiv.2404.00666,
title = {Accelerated Parameter-Free Stochastic Optimization},
author = {Itai Kreisler and Maor Ivgi and Oliver Hinder and Yair Carmon},
journal= {arXiv preprint arXiv:2404.00666},
year = {2024}
}