中文

一类非凸非光滑优化问题的投影近端梯度下降:无需Kurdyka-Lojasiewicz (KL) 性质的快速收敛

最优化与控制 2024-09-26 v2 机器学习

摘要

非凸非光滑优化问题在统计与机器学习中重要且具有挑战性。本文提出投影近端梯度下降(PPGD),求解一类非凸非光滑优化问题,其中非凸性与非光滑性来自一个非凸但分段凸的非光滑正则项。与现有基于Kurdyka-\L{}ojasiewicz (K\L{})性质的非凸非光滑加速PGD方法收敛分析不同,我们给出新的理论分析,证明PPGD的局部快速收敛。在温和假设下,证明了对一类非凸非光滑问题,当迭代次数kk0k \ge k_0(有限k0k_0)时,PPGD达到\cO(1/k2)\cO(1/k^2)的快速收敛速率,此为光滑凸目标函数具Lipschitz连续梯度时一阶方法的局部Nesterov最优收敛速率。实验结果展示了PPGD的有效性。

关键词

引用

@article{arxiv.2304.10499,
  title  = {Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property},
  author = {Yingzhen Yang and Ping Li},
  journal= {arXiv preprint arXiv:2304.10499},
  year   = {2024}
}

备注

Accepted by ICLR2023