基于 L1 随机化的两样本反馈在线零阶优化梯度估计器
统计理论
2022-09-21 v2 机器学习
统计理论
摘要
本工作研究凸且 Lipschitz 函数的在线零阶优化。我们提出了一种基于两次函数求值及 -球上随机化的新颖梯度估计器。考虑可行集的不同几何结构与 Lipschitz 假设，我们分析以我们的估计器替代通常梯度的在线对偶平均算法。我们考虑零阶预言机噪声的两类假设：抵消噪声与对抗噪声。我们提供了一种随时可用且完全数据驱动的算法，其自适应于问题的所有参数。在文献先前研究的抵消噪声情形下，我们的保证相较于 Duchi 等人（2015）与 Shamir（2017）针对非自适应算法所得的最优界相当或更好。我们的分析基于推导 -球上均匀测度的新加权 Poincaré 型不等式并带有显式常数，这或具独立意义。
引用
@article{arxiv.2205.13910,
title = {A gradient estimator via L1-randomization for online zero-order optimization with two point feedback},
author = {Arya Akhavan and Evgenii Chzhen and Massimiliano Pontil and Alexandre B. Tsybakov},
journal= {arXiv preprint arXiv:2205.13910},
year = {2022}
}