关于 $(L_0, L_1)$-Lipschitz 根寻问题的 extragradient 方法
最优化与控制
2025-10-28 v1 机器学习
摘要
1976 年,Korpelevich 提出的 extragradient 方法(EG)已成为求解 min-max 优化、根寻问题和变分不等式(VIs)的基石技术。尽管该方法历经漫长发展并在优化领域获得广泛关注,但大多数研究假设满足强 L-Lipschitz 条件,才进而分析其收敛保证。本文基于 Zhang 等人[2024b]针对最小化问题以及 Vankov 等人[2024]针对变分不等式的假设,聚焦更松弛的 -对称 -Lipschitz 条件。该条件概括了标准 Lipschitz 假设,允许 Lipschitz 常数随算子范数而变化,为现代机器学习中的问题结构提供更精细的刻画。在满足 -对称 -Lipschitz 条件下,我们提出一种新的步长策略求解根寻问题,并为单调算子建立亚线性收敛率,为强单调算子建立线性收敛率。此外,我们证明了弱 Minty 算子的局部收敛保证。我们通过实验验证了理论,并展示了该步长策略在 EG 中的有效性和鲁棒性。
引用
@article{arxiv.2510.22421,
title = {Extragradient Method for $(L_0, L_1)$-Lipschitz Root-finding Problems},
author = {Sayantan Choudhury and Nicolas Loizou},
journal= {arXiv preprint arXiv:2510.22421},
year = {2025}
}
备注
Published in NeurIPS 2025, 44 pages, 6 Figures