一般 Hölder 光滑收敛速率可由假设增长界时的特化速率推出
最优化与控制
2023-01-10 v2
摘要
通常在针对光滑与非光滑优化的的一阶方法分析中，假设存在增长/误差界或 KL 条件有助于得到强得多的收敛分析。因此通常需要对一般情形与增长有界情形分别进行分析。我们给出由假设增长下界的收敛速率推导一般收敛速率的元定理。将此简单但概念上强大的工具应用于邻近点法、次梯度法、束方法、对偶平均、梯度下降、Frank-Wolfe 法与通用加速方法，可立即由其特化速率恢复出它们在一般凸优化问题上的已知收敛速率。对于束方法、对偶平均与 Frank-Wolfe 法，得到了新的收敛结果。我们的结果可提升任何基于 Hölder 连续梯度与 Hölder 增长界的速率。此外，我们的理论从教科书式无增长界例子出发，给出了 Hölder 增长下最优收敛下界的简单证明。
引用
@article{arxiv.2104.10196,
title = {General Holder Smooth Convergence Rates Follow From Specialized Rates Assuming Growth Bounds},
author = {Benjamin Grimmer},
journal= {arXiv preprint arXiv:2104.10196},
year = {2023}
}
备注
Extending the results previously posted in arXiv:1905.06275 to cover both smooth and nonsmooth optimization