一种基于比较的单比特梯度估计器
最优化与控制
2022-04-26 v3 人工智能
机器学习
摘要
我们研究凸函数的零阶优化，并进一步假设无法获得函数值评估。相反，只能访问一个比较预言机（comparison oracle），该预言机给定两点 和 时返回单比特信息，指示哪一点具有更大的函数值 或 。通过将梯度视为待恢复未知信号，我们展示了如何利用单比特压缩感知中的工具来构造归一化梯度的鲁棒且可靠的估计器。随后我们提出一种称为 SCOBO 的算法，在梯度下降方案中使用该估计器。我们表明，当 具有可被利用的低维结构时，SCOBO 在查询复杂度方面优于当前最优方法。我们的理论主张通过大量数值实验得到验证。
引用
@article{arxiv.2010.02479,
title = {A One-bit, Comparison-Based Gradient Estimator},
author = {HanQin Cai and Daniel Mckenzie and Wotao Yin and Zhenliang Zhang},
journal= {arXiv preprint arXiv:2010.02479},
year = {2022}
}