一类非凸非光滑优化问题的投影近端梯度下降:无需Kurdyka-Lojasiewicz (KL) 性质的快速收敛
最优化与控制
2024-09-26 v2 机器学习
摘要
非凸非光滑优化问题在统计与机器学习中重要且具有挑战性。本文提出投影近端梯度下降(PPGD),求解一类非凸非光滑优化问题,其中非凸性与非光滑性来自一个非凸但分段凸的非光滑正则项。与现有基于Kurdyka-\L{}ojasiewicz (K\L{})性质的非凸非光滑加速PGD方法收敛分析不同,我们给出新的理论分析,证明PPGD的局部快速收敛。在温和假设下,证明了对一类非凸非光滑问题,当迭代次数(有限)时,PPGD达到的快速收敛速率,此为光滑凸目标函数具Lipschitz连续梯度时一阶方法的局部Nesterov最优收敛速率。实验结果展示了PPGD的有效性。
引用
@article{arxiv.2304.10499,
title = {Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property},
author = {Yingzhen Yang and Ping Li},
journal= {arXiv preprint arXiv:2304.10499},
year = {2024}
}
备注
Accepted by ICLR2023