复合凸优化的零阶 Katyusha：一种加速无导数方法
最优化与控制
2024-07-15 v1
摘要
我们研究了针对光滑复合凸优化问题的加速零阶算法。虽然对于无约束优化，现有方法将 2 点零阶梯度估计器与一阶框架融合通常会产生满意的性能，但对于受约束/复合问题，仍存在与 2 点梯度估计器在最优点附近非消失方差相关的复杂度界限之间的差距。为弥合这一差距，我们提出了零阶 Loopless Katyusha (ZO-L-Katyusha) 算法，利用来自一阶 Loopless Katyusha 算法的方差归约和加速技术。我们证明 ZO-L-Katyusha 能够实现复合光滑强凸问题的加速线性收敛，并具有与无约束情况相同的 oracle 复杂度。此外，ZO-L-Katyusha 中构建零阶梯度估计器的函数查询次数可使其平均为 O(1)。这些结果表明 ZO-L-Katyusha 为解决零阶复合优化的复杂度界限提供了有前景的途径。
引用
@article{arxiv.2407.09190,
title = {Zeroth-Order Katyusha: An Accelerated Derivative-Free Method for Composite Convex Optimization},
author = {Silan Zhang and Yujie Tang},
journal= {arXiv preprint arXiv:2407.09190},
year = {2024}
}