中文

锚定梯度下降的最后迭代收敛性

最优化与控制 2026-04-15 v1

摘要

我们研究单调包含问题 0F(z)+A(z)0\in F(z)+A(z),其中 FF 为单调且 Lipschitz,AA 为最大单调。该框架涵盖了带约束或正则化的单调变分不等式和凸-凹鞍点问题。众所周知,基础梯度下降法在此问题上会发散,而乐观方法(如 Extragradient)以及结合乐观与锚定的加速方法(如 Extra Anchored Gradient)可实现最后迭代收敛。然而,仅含锚定的梯度下降法(anchored gradient descent)仅在无约束情形下被研究 [RYY19, SST+26]。本文将锚定梯度下降法推广至单调包含问题,证明其以 O(1/T)O(1/\sqrt{T}) 的速率在切向残差上实现最后迭代收敛。我们基于无约束情形的最新证明 [SST+26],并借助技术手段 [COZ24] 将其推广至一般包含情形。

关键词

引用

@article{arxiv.2604.12235,
  title  = {Last-Iterate Convergence of Anchored Gradient Descent},
  author = {Yang Cai and Weiqiang Zheng},
  journal= {arXiv preprint arXiv:2604.12235},
  year   = {2026}
}