中文

具有 $\mathcal{O} (1/k)$ 末次迭代收敛速率的额外梯度型方法用于共单调包含问题

最优化与控制 2023-10-17 v2 机器学习

摘要

我们开发了两种著名的额外梯度方法的“Nesterov 加速”变体,以近似求解由两算子之和构成的共单调(co-hypomonotone)包含问题,其中一个算子是 Lipschitz 连续的,另一个可能是多值的。第一种方案可视为 Tseng 前向-后向-前向分裂(FBFS)方法的加速变体,而第二种是“过去”FBFS 方案的 Nesterov 加速变体,其仅需一次 Lipschitz 算子评估和一次多值映射的预解式。在参数满足适当条件下,我们从理论上证明两种算法在残差范数上均达到 O(1/k)\mathcal{O}(1/k) 的末次迭代收敛速率,其中 kk 为迭代计数。我们的结果可视为近期一类用于求根问题的 Halpern 型方法的替代方案。为作比较,我们还对两种近期用于求解共单调包含问题的额外锚定梯度型方法提供了新的收敛分析。

关键词

引用

@article{arxiv.2302.04099,
  title  = {Extragradient-Type Methods with $\mathcal{O} (1/k)$ Last-Iterate Convergence Rates for Co-Hypomonotone Inclusions},
  author = {Quoc Tran-Dinh},
  journal= {arXiv preprint arXiv:2302.04099},
  year   = {2023}
}

备注

25 pages