针对凸凹 minimax 问题的无参数化二阶算法

在本文中，我们研究针对凸凹 minimax 问题的二阶算法，这在近年来受到了来自诸多领域（如机器学习）的广泛关注。我们提出了一种无 Lipschitz 常数要求的分段立方正则化（LF-CR）算法，用于求解凸凹 minimax 优化问题。可以证明，LF-CR 算法获得其受限原始-对偶间隙 $\epsilon$ -最优解的迭代复杂度上界为 $\mathcal{O}(\rho^{2/3}\|z_0-z^*\|^2\epsilon^{-2/3})$，其中 $z_0=(x_0,y_0)$ 为初始点对，$z^*=(x^*,y^*)$ 为最优解对，$\rho$ 为 Lipschitz 常数。我们进一步提出了一种完全无参数化的立方正则化（FF-CR）算法，不需要知道问题的任何参数，包括 Lipschitz 常数和从初始点到最优解距离的上界。我们也证明了 FF-CR 算法获得其梯度范数 $\epsilon$ -最优解的迭代复杂度上界为 $\mathcal{O}(\rho^{2/3}\|z_0-z^*\|^{4/3}\epsilon^{-2/3})$。数值实验显示两者的效率。到目前为止，我们所提出的 FF-CR 算法是第一个完全无参数化的二阶算法，其在梯度范数终止准则下的迭代复杂度目前是最好的。