双线性耦合光滑极小极大优化的提升原始对偶方法

我们研究双线性耦合极小极大问题：$\min_{x} \max_{y} f(x) + y^\top A x - h(y)$，其中 $f$ 和 $h$ 均为强凸光滑函数并允许一阶梯度预言。令人惊讶的是，在一般参数情形下，尚无已知一阶算法达到求解该问题至 $\varepsilon$ 原始对偶间隙的下界复杂度 $\Omega((\sqrt{\frac{L_x}{\mu_x}} + \frac{\|A\|}{\sqrt{\mu_x \mu_y}} + \sqrt{\frac{L_y}{\mu_y}}) \log(\frac1{\varepsilon}))$，其中 $L_x, L_y,\mu_x,\mu_y$ 为相应的光滑性和强凸性常数。我们通过设计首个最优算法——提升原始对偶（LPD）方法——填补了这一空白。我们的方法将目标提升为扩展形式，使得光滑项和双线性项均能在同一原始对偶框架下被最优且无缝地处理。除最优性外，我们的方法给出了一个令人满意地简单的单循环算法，每次迭代仅使用一次梯度预言调用。此外，当 $f$ 仅为凸时，将同一算法应用于平滑后的目标可实现近最优的迭代复杂度。我们还利用 LPD 方法提供了一个直接的单循环算法，其迭代复杂度为 $O(\sqrt{\frac{L_x}{\varepsilon}} + \frac{\|A\|}{\sqrt{\mu_y \varepsilon}} + \sqrt{\frac{L_y}{\varepsilon}})$。在二次极小极大问题和策略评估问题上的数值实验进一步证明了我们的算法在实践中的快速收敛性。