基于原始-对偶外梯度方法的可分离极小极大与有限和优化更优收敛速率

我们为几类基本优化问题设计了具有改进速率的加速算法。这些算法均基于 [CST21] 最近提出的通过相对 Lipschitz 性分析原始-对偶外梯度方法的相关技术。(1) 可分离极小极大优化。我们研究可分离极小极大优化问题 $\min_x \max_y f(x) - g(y) + h(x, y)$，其中 $f$ 和 $g$ 具有光滑性和强凸性参数 $(L^x, \mu^x)$、$(L^y, \mu^y)$，且 $h$ 是凸-凹的，其 Hessian 矩阵具有 $(\Lambda^{xx}, \Lambda^{xy}, \Lambda^{yy})$-分块算子范数有界。我们提供了一个梯度查询复杂度为 $\tilde{O}\left(\sqrt{\frac{L^{x}}{\mu^{x}}} + \sqrt{\frac{L^{y}}{\mu^{y}}} + \frac{\Lambda^{xx}}{\mu^{x}} + \frac{\Lambda^{xy}}{\sqrt{\mu^{x}\mu^{y}}} + \frac{\Lambda^{yy}}{\mu^{y}}\right)$ 的算法。值得注意的是，对于具有双线性耦合的凸-凹极小极大问题（例如二次型），其中 $\Lambda^{xx} = \Lambda^{yy} = 0$，我们的速率匹配了 [ZHZ19] 的下界。(2) 联合极小优化。我们研究联合极小优化问题 $\min_x \frac{1}{n}\sum_{i\in[n]} f_i(x)$，其中每个 $f_i$ 是 $L_i$-光滑的，且整体问题是 $\mu$-强凸的。我们提供了一个梯度查询复杂度为 $\tilde{O}\left(n + \sum_{i\in[n]} \sqrt{\frac{L_i}{n\mu}} \right)$ 的算法。值得注意的是，当光滑性界 $\{L_i\}_{i\in[n]}$ 非均匀时，我们的速率比加速 SVRG [LMH15, FGKS15] 和 Katyusha [All17] 提高了最多 $\sqrt{n}$ 倍。(3) 极小极大联合极小化。我们将用于极小极大和联合极小优化的算法推广，以加速速率解决一类自然的极小极大联合极小优化问题，将上述两个结果囊括在内，仅相差一个对数因子。