非光滑非凸问题的块坐标与增量聚合邻近梯度方法
最优化与控制
2024-04-17 v3
摘要
本文分析了块坐标邻近梯度方法，用于最小化一个可分离光滑函数与一个（不可分离）非光滑函数之和，二者均允许为非凸。我们分析的主要工具是前向后包络（FBE），它作为一个特别合适的连续实值 Lyapunov 函数。当代价函数满足 Kurdyka-Łojasiewicz 性质且不对光滑函数施加凸性要求时，建立了全局与线性收敛结果。所研究情形的两个显著特例是正则化有限和最小化与共享问题；特别地，我们分析的一个直接副产品，针对流行的 Finito/MISO 算法在非光滑非凸情形下以非常一般的采样策略，得出了新的收敛结果与收敛速率。本文分析了块坐标邻近梯度方法，用于最小化一个可分离光滑函数与一个（不可分离）非光滑函数之和，二者均允许为非凸。我们分析的主要工具是前向后包络（FBE），它作为一个特别合适的连续实值 Lyapunov 函数。当代价函数满足 Kurdyka-Łojasiewicz 性质且不对光滑函数施加凸性要求时，建立了全局与线性收敛结果。所研究情形的两个显著特例是正则化有限和最小化与共享问题；特别地，我们分析的一个直接副产品，针对流行的 Finito/MISO 算法在非光滑非凸情形下以非常一般的采样策略，得出了新的收敛结果与收敛速率。
引用
@article{arxiv.1906.10053,
title = {Block-coordinate and incremental aggregated proximal gradient methods for nonsmooth nonconvex problems},
author = {Puya Latafat and Andreas Themelis and Panagiotis Patrinos},
journal= {arXiv preprint arXiv:1906.10053},
year = {2024}
}