矩阵博弈的方差缩减

我们提出一种随机原始-对偶算法，对于维度较大为 $n$、非零元个数为 $\mathrm{nnz}(A)$ 的矩阵 $A$，该算法在 $\mathrm{nnz}(A) + \sqrt{\mathrm{nnz}(A)n}/\epsilon$ 时间内将问题 $\min_{x} \max_{y} y^\top A x$ 求解到加性误差 $\epsilon$。这比已知最好的精确梯度方法提升了 $\sqrt{\mathrm{nnz}(A)/n}$ 倍，并且在精确和/或稀疏情形 $\epsilon \le \sqrt{n/\mathrm{nnz}(A)}$ 下快于全随机梯度方法。我们的结果对 $x,y$ 在单纯形中（矩阵博弈、线性规划）以及 $x$ 在 $\ell_2$ 球中、$y$ 在单纯形中（感知机/SVM、最小包围球）均成立。我们的算法结合了 Nemirovski 的“概念邻近方法”和一种基于从当前迭代点与参考点之“差异中采样”的新型降方差梯度估计器。