用于非凸极小极大优化中寻找局部极小极大点的立方正则化方法
最优化与控制
2023-02-21 v5 机器学习
摘要
梯度下降-上升（GDA）是一种广泛使用的极小极大优化算法。然而，已证明 GDA 在非凸极小极大优化中收敛到驻点，这些驻点相较于局部极小极大点而言是次优的。本文中，我们开发了立方正则化（CR）型算法，可在非凸-强凹极小极大优化中全局收敛到局部极小极大点。我们首先证明局部极小极大点等价于某包络函数的二阶驻点。随后，受经典立方正则化算法启发，我们提出一种名为 Cubic-LocalMinimax 的算法用于寻找局部极小极大点，并利用其内在势函数给出全面的收敛性分析。具体而言，我们建立了 Cubic-LocalMinimax 以亚线性收敛速率全局收敛到局部极小极大点，并刻画了其迭代复杂度。此外，我们提出一种基于 GDA 的求解器，用于将 Cubic-LocalMinimax 中涉及的立方子问题求解至某预定义精度，并分析了该不精确 Cubic-LocalMinimax 算法的整体梯度与 Hessian-向量积计算复杂度。进一步地，我们提出 Cubic-LocalMinimax 的随机变体用于大规模极小极大优化，并刻画了其在随机子采样下的样本复杂度。实验结果证明了我们的随机 Cubic-LocalMinimax 比若干现有算法收敛更快。
引用
@article{arxiv.2110.07098,
title = {A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization},
author = {Ziyi Chen and Zhengyang Hu and Qunwei Li and Zhe Wang and Yi Zhou},
journal= {arXiv preprint arXiv:2110.07098},
year = {2023}
}
备注
43 pages, 9 figures. Text overlap with arXiv:2102.04653. The original title is "Escaping Saddle Points in Nonconvex Minimax Optimization via Cubic-Regularized Gradient Descent-Ascent"