如何捕获梯度流

我们考虑在 $\mathbb{R}^d$ 的紧致域上寻找光滑函数的 $\varepsilon$-近似驻点的问题。与梯度下降等无关维数的方法不同，我们此处关注 $d$ 有限且可能较小的情形。该视角由 Vavasis 于 1993 年探讨，他提出了一种算法，对任意固定有限维 $d$，其优于梯度下降的 $O(1/\varepsilon^2)$ 预言机复杂度。例如 $d=2$ 时，Vavasis 方法得到复杂度 $O(1/\varepsilon)$。此外对于 $d=2$ 他还证明了确定性算法的下界 $\Omega(1/\sqrt{\varepsilon})$（我们将其推广至随机算法）。我们的主要贡献是一种称为梯度流捕获（GFT）的算法，并分析了其预言机复杂度。在维数 $d=2$ 时，GFT 填补了与 Vavasis 下界的差距（至多相差对数因子），因为我们证明其复杂度为 $O\left(\sqrt{\frac{\log(1/\varepsilon)}{\varepsilon}}\right)$。在维数 $d=3$ 时，我们展示出复杂度 $O\left(\frac{\log(1/\varepsilon)}{\varepsilon}\right)$，优于 Vavasis 的 $O\left(1 / \varepsilon^{1.2} \right)$。在更高维时，GFT 具有对数并行深度策略的显著性质，与梯度下降或 Vavasis 算法的多项式深度形成鲜明对比。在此高维情形下，GFT 的总工作量相对于该问题另一种已知的仅有多对数深度策略（即朴素网格搜索）有二次方的改进。我们以另一种名为 \emph{cut and flow}（CF）的算法补充该结果，它在任意固定维数下均优于 Vavasis 算法。