中文

加速外梯度型方法——第二部分:共次单调性下的推广与次线性收敛速率

最优化与控制 2025-03-11 v2 机器学习

摘要

继我们项目的第一部分之后,本文全面研究了两种基于外梯度的方法:锚定外梯度和Nesterov加速外梯度,用于求解[非]线性包含问题(特别是方程),主要是在Lipschitz连续性和共次单调性假设下。我们将一类用于单调包含的锚定外梯度方法统一并推广到更广泛的方案,将现有算法作为特例包含在内。我们为这个通用框架建立了关于底层映射残差范数的O(1/k)最后迭代收敛速率,然后将其特化以获得特定实例的收敛保证,其中k表示迭代次数。我们将我们的方法扩展到一类锚定Tseng前向-后向-前向分裂方法,以获得更广泛的算法类来求解共次单调包含。再次,我们分析了这个通用方案的O(1/k)最后迭代收敛速率,并将其特化以获得现有和新变体的收敛结果。我们将Nesterov加速外梯度方法推广并统一到一个新的算法类,该类将现有方案作为特例,同时生成新变体。对于这些方案,我们可以在共次单调性下证明残差范数的O(1/k)最后迭代收敛速率,覆盖了一类非单调问题。我们提出了另一类新颖的Nesterov加速外梯度方法来求解包含问题。有趣的是,这些算法同时实现了O(1/k)和o(1/k)的最后迭代收敛速率,并且在共次单调性和Lipschitz连续性下还实现了迭代序列的收敛。最后,我们提供了一组涵盖不同场景的数值实验,以验证我们的算法和理论保证。

关键词

引用

@article{arxiv.2501.04585,
  title  = {Accelerated Extragradient-Type Methods -- Part 2: Generalization and Sublinear Convergence Rates under Co-Hypomonotonicity},
  author = {Quoc Tran-Dinh and Nghia Nguyen-Trung},
  journal= {arXiv preprint arXiv:2501.04585},
  year   = {2025}
}

备注

75 pages, 7 figures, and 1 table