惰性查询可降低零阶优化中的方差
机器学习
2022-06-16 v1 最优化与控制
机器学习
摘要
应用零阶（ZO）方法的一大挑战是高查询复杂度，尤其是在查询代价高昂时。我们提出了一种基于自适应惰性查询的 ZO 方法新型梯度估计技术，将其命名为 LAZO。与经典的单点或两点梯度估计方法不同，LAZO 开发了两种替代方法来检验先前迭代中旧查询的有用性，然后自适应地复用它们以构建低方差梯度估计。我们严格证明了，通过明智地复用旧查询，LAZO 能够降低随机梯度估计的方差，这不仅节省了每次迭代的查询次数，还达到了对称两点方法的遗憾界。我们评估了 LAZO 的数值性能，并展示了相对于几种现有 ZO 方法，LAZO 在遗憾界和查询复杂度方面的低方差特性和性能提升。LAZO 的思想具有通用性，可应用于其他变体的 ZO 方法。
引用
@article{arxiv.2206.07126,
title = {Lazy Queries Can Reduce Variance in Zeroth-order Optimization},
author = {Quan Xiao and Qing Ling and Tianyi Chen},
journal= {arXiv preprint arXiv:2206.07126},
year = {2022}
}