具有方差缩减的循环块坐标下降法用于复合非凸优化
最优化与控制
2023-01-31 v2 机器学习
摘要
非凸优化在解决许多机器学习问题中处于核心地位，其中块结构是常见的。在这项工作中，我们针对具有非渐近梯度范数保证的非凸优化问题提出了循环块坐标方法。我们的收敛性分析基于关于马哈拉诺比斯范数的梯度利普希茨条件，这受到近期循环块坐标方法进展的启发。在确定性设置下，我们的收敛保证与（全梯度）梯度下降的保证相匹配，但梯度利普希茨常数是关于马哈拉诺比斯范数定义的。在随机设置下，我们使用递归方差缩减来降低每次迭代的成本，并与当前最优随机全梯度方法的算术运算复杂度相匹配，对有限和与无限和情形给出了统一的分析。我们证明了在 Polyak-Łojasiewicz (PŁ) 条件成立时更快的线性收敛结果。据我们所知，这项工作是首个在一般复合（光滑+非光滑）非凸设置下为循环块坐标方法提供非渐近收敛保证——无论是否方差缩减——的工作。我们的实验结果证明了所提出的循环方案在训练深度神经网络中的有效性。
引用
@article{arxiv.2212.05088,
title = {Cyclic Block Coordinate Descent With Variance Reduction for Composite Nonconvex Optimization},
author = {Xufeng Cai and Chaobing Song and Stephen J. Wright and Jelena Diakonikolas},
journal= {arXiv preprint arXiv:2212.05088},
year = {2023}
}