通过残差反馈提升单点无导数在线优化
机器学习
2020-12-04 v3 最优化与控制
摘要
零阶优化（ZO）通常依赖两点反馈来估计目标函数的未知梯度。然而，两点反馈无法用于时变目标函数的在线优化，其中每一步只能对函数值进行单次查询。在这项工作中，我们提出一种新的用于在线优化的单点反馈方法，该方法利用连续两个时刻两个反馈点之间的残差来估计目标函数梯度。此外，我们针对凸与非凸在线优化问题，给出了带残差反馈的零阶优化的后悔界。具体而言，对于确定性与随机性问题和Lipschitz与光滑目标函数，我们表明使用残差反馈相比传统单点反馈方法能产生方差小得多的梯度估计。因此，我们的后悔界相比现有带传统单点反馈的零阶优化的后悔界要紧得多，这表明带残差反馈的零阶优化能更好地跟踪在线优化问题的优化器。此外，我们的后悔界所依赖的假设比传统单点反馈方法更弱。数值实验表明，带残差反馈的零阶优化在实践中也显著优于现有单点反馈方法。
引用
@article{arxiv.2010.07378,
title = {Boosting One-Point Derivative-Free Online Optimization via Residual Feedback},
author = {Yan Zhang and Yi Zhou and Kaiyi Ji and Michael M. Zavlanos},
journal= {arXiv preprint arXiv:2010.07378},
year = {2020}
}