广义Polyak-Łojasiewicz函数下任意块梯度方法的全局收敛
最优化与控制
2017-09-12 v1
摘要
本文中，我们介绍了近端设置下梯度下降类型方法理论的两个新颖推广。首先，我们引入比例函数，并进一步将其用于在同一框架下分析块坐标下降方法所有已知的（以及许多新的）块选择规则。该框架包括具有均匀、非均匀甚至自适应采样策略的随机方法，以及具有批量、贪婪或循环选择规则的确定性方法。其次，强凸优化的理论最近被推广到满足所谓Polyak-Łojasiewicz条件的一类特定非凸函数。为了在弱凸情况下镜像这一推广，我们引入了弱Polyak-Łojasiewicz条件，利用它我们给出了一类先前理论上未考虑的非凸函数的全局收敛保证。此外，我们为满足仅某一光滑性假设的更大一类非凸函数建立了（必然稍弱的）收敛保证。通过结合上述两个推广，我们将最先进的(state-of-the-art)收敛保证作为我们一般框架的特例，恢复了针对一大类先前已知方法和设置的结果。而且，我们的框架允许推导许多新方法和设置组合以及一大类新颖非凸目标的新保证。我们方法的灵活性为未来研究提供了大量潜力，因为一个新的块选择过程将对我们框架中考虑的所有目标具有收敛保证，而在我们方法下分析的新目标将有一整套具有现成收敛保证的块选择规则。
引用
@article{arxiv.1709.03014,
title = {Global Convergence of Arbitrary-Block Gradient Methods for Generalized Polyak-{\L}ojasiewicz Functions},
author = {Dominik Csiba and Peter Richtárik},
journal= {arXiv preprint arXiv:1709.03014},
year = {2017}
}