过参数化条件下求解黑盒优化问题的加速零阶SGD方法
最优化与控制
2024-02-14 v2
摘要
本文致力于在过参数化设定下求解凸随机优化问题，其中原始梯度计算不可用，但可计算目标函数值。针对此类问题，我们提供了一种新颖的无梯度算法，其构建方法基于在带偏置的加速SGD算法中以随机化梯度近似替代梯度预言机，该算法将AC-SA算法的收敛结果推广至梯度预言机返回含噪（不精确）目标函数值的情况。我们还进行了详细分析，以找出能够保证达到期望精度的最大可容忍对抗噪声水平。我们通过一个模型示例验证了收敛的理论结果。
引用
@article{arxiv.2307.12725,
title = {Accelerated Zero-Order SGD Method for Solving the Black Box Optimization Problem under "Overparametrization" Condition},
author = {Aleksandr Lobanov and Alexander Gasnikov},
journal= {arXiv preprint arXiv:2307.12725},
year = {2024}
}