具有自适应步长的随机原始对偶方法

本文提出一类随机原始对偶方法，以应对由凸凹函数 $\mathcal{L}(\mathbf{x},y)\triangleq\sum_{i=1}^m f_i(x_i)+\Phi(\mathbf{x},y)-h(y)$ 定义的大规模鞍点问题。我们在 $\mathcal{L}$ 关于 $\mathbf{x}$ 变量仅凸及强凸的假设下分析了所提方法的收敛速率。特别地，假设 $\nabla_y\Phi(\cdot,\cdot)$ 为Lipschitz连续且对任意固定 $y$ 有 $\nabla_\mathbf{x}\Phi(\cdot,y)$ 为坐标wise Lipschitz，算法生成的遍历序列在期望原始对偶间隙上达到 $\mathcal{O}(M/k)$ 的收敛速率。进一步，假设对任意 $y$ 有 $\mathcal{L}(\cdot,y)$ 强凸，且对任意 $\mathbf{x}$ 有 $\Phi(\mathbf{x},\cdot)$ 为仿射，则该格式在原始解次优性上享有更快的 $\mathcal{O}(M/k^2)$ 速率。我们将所提算法框架用于求解核矩阵学习问题，并与其他最先进的一阶方法进行了对比测试。