用于有限和共轭方程 $Gx=0$ 的小方差快速克拉斯诺斯基-曼方法

我们提出了一种新型的快速克拉斯诺斯基-曼方法，集成了方差缩减技术，用于求解有限和共轭方程 $Gx=0$。该算法为单环结构，利用专为更广泛的根寻找到算法设计的无偏方差缩减估计量族。本方法在 $\mathbb{E}[\| Gx^k\|^2]$ 上的收敛性能实现了 $\mathcal{O}(1/k^2)$ 与 $o(1/k^2)$ 的最后迭代收敛速率，其中 $k$ 为迭代计数器，$\mathbb{E}[\cdot]$ 表示总体期望。我们还建立了几乎肯定的 $o(1/k^2)$ 收敛速率以及迭代序列 $\{x^k\}$ 关于 $Gx=0$ 的几乎肯定收敛。我们将框架实例化于两类突出估计量：SVRG 与 SAGA。通过合理选择参数，两种变体均可达到 $\mathcal{O}(n + n^{2/3}\epsilon^{-1})$ 的 oracle 复杂度，以获得 $\epsilon$-解，其中 $n$ 表示有限和算子 $G$ 中求和项的数量。此外，在 $\sigma$-强准单调性条件下，本方法可获得线性收敛速率及 $\mathcal{O}(n+ \max\{n, n^{2/3}\kappa\} \log(\frac{1}{\epsilon}))$ 的 oracle 复杂度，其中 $\kappa := L/\sigma$。我们将方法推广至求解一类有限和包含问题（可能非单调），证明该方案在方程设置下保持相同的理论保证。最后，数值实验验证了算法的有效性并显示其相较于当前最先进方法的前景性能。