锚定梯度下降的最后迭代收敛性
最优化与控制
2026-04-15 v1
摘要
我们研究单调包含问题 ,其中 为单调且 Lipschitz, 为最大单调。该框架涵盖了带约束或正则化的单调变分不等式和凸-凹鞍点问题。众所周知,基础梯度下降法在此问题上会发散,而乐观方法(如 Extragradient)以及结合乐观与锚定的加速方法(如 Extra Anchored Gradient)可实现最后迭代收敛。然而,仅含锚定的梯度下降法(anchored gradient descent)仅在无约束情形下被研究 [RYY19, SST+26]。本文将锚定梯度下降法推广至单调包含问题,证明其以 的速率在切向残差上实现最后迭代收敛。我们基于无约束情形的最新证明 [SST+26],并借助技术手段 [COZ24] 将其推广至一般包含情形。
引用
@article{arxiv.2604.12235,
title = {Last-Iterate Convergence of Anchored Gradient Descent},
author = {Yang Cai and Weiqiang Zheng},
journal= {arXiv preprint arXiv:2604.12235},
year = {2026}
}