极小化具有 Hölder 增长的凸函数的非精确近端点算法的复杂度
机器学习
2024-05-29 v6
摘要
几十年前，近端点算法（PPA）开始在抽象算子理论和数值优化两个领域引起持久的关注。即使在现代应用中，研究人员仍使用近端极小化理论来设计克服非光滑性的可扩展算法。诸如 \cite{Fer:91,Ber:82constrained,Ber:89parallel,Tom:11} 等杰出工作建立了 PPA 的收敛行为与目标函数正则性之间的紧密关系。在本文中，我们推导了在 Hölder 增长条件下极小化凸函数的精确与非精确 PPA 的非渐近迭代复杂度：（对于 ）和 （对于 ）。特别地，我们恢复了 PPA 的著名结果：即使在确定性噪声存在的情况下，对于尖锐极小值具有有限收敛性，对于二次增长具有线性收敛性。此外，当简单近端次梯度方法作为计算每个 IPPA 迭代的内部例程被递归调用时，我们获得了重启非精确 PPA 的新型计算复杂度界限。我们的数值实验表明，相比现有的次梯度方法的重启版本有所改进。
引用
@article{arxiv.2108.04482,
title = {Complexity of Inexact Proximal Point Algorithm for minimizing convex functions with Holderian Growth},
author = {Andrei Pătraşcu and Paul Irofti},
journal= {arXiv preprint arXiv:2108.04482},
year = {2024}
}