中文

非光滑复合问题上正则化准牛顿方法的全局非渐近超线性收敛率

最优化与控制 2024-11-22 v2

摘要

本文提出两种具有对称秩-1 更新度量(SR1 牛顿法)的正则化准牛顿方法,用于求解非光滑凸加性复合问题。这两种算法均无需使用线搜索或其他信任域策略。对于两种方法,我们证明了其收敛率与算法初始化无关,呈现超线性收敛。三阶正则化方法达到的收敛率为 (CN1/2)N/2\left(\frac{C}{N^{1/2}}\right)^{N/2},其中 NN 为迭代次数,CC 为常数;另一种梯度正则化方法的收敛率为 (fracCN1/4)N/2\left(\\frac{C}{N^{1/4}}\right)^{N/2}。据我们所知,这些是正则化准牛顿方法和正则化准牛顿方法首个全局非渐近超线性收敛率。理论特性也在机器学习中的两个应用中得到验证。

关键词

引用

@article{arxiv.2410.11676,
  title  = {Global non-asymptotic super-linear convergence rates of regularized proximal quasi-Newton methods on non-smooth composite problems},
  author = {Shida Wang and Jalal Fadili and Peter Ochs},
  journal= {arXiv preprint arXiv:2410.11676},
  year   = {2024}
}