Perseus：一种求解变分不等式的简单且最优的高阶方法

本文解决了一个开放且具有挑战性的问题，即如何设计简单且最优的高阶方法以求解光滑单调变分不等式（VIs）。VI 问题旨在寻找 $x^\star \in \mathcal{X}$，使得对所有 $x \in \mathcal{X}$ 均有 $\langle F(x), x - x^\star\rangle \geq 0$。我们考虑 $F$ 具有最高 $(p-1)$ 阶导数的光滑性设定。当 $p = 2$ 时，三次正则化牛顿法被推广至 VIs，其全局速率为 $O(\epsilon^{-1})$。通过另一种二阶方法可获得改进的 $O(\epsilon^{-2/3}\log\log(1/\epsilon))$ 速率，但该方法需要将非平凡的线搜索过程作为内循环。类似地，基于线搜索过程的高阶方法已被证明能达到 $O(\epsilon^{-2/(p+1)}\log\log(1/\epsilon))$ 的速率。然而，正如 Nesterov 所强调的，此类过程并不一定意味着在大规模应用中的实际适用性，因此期望用一种保留更复杂方法最优性的简单高阶 VI 方法来补充这些结果。我们提出了一种不需要任何线搜索过程的 $p$ 阶方法，并可证明以 $O(\epsilon^{-2/(p+1)})$ 的速率收敛到弱解。我们在广义线性张成假设下建立了匹配的下界，从而证明我们的 $p$ 阶方法在单调设定下是最优的。我们的方法通过重启在光滑一致单调 VIs 上获得线性速率，在光滑强单调 VIs 上获得局部超线性速率。我们的方法在求解满足 Minty 条件的光滑非单调 VIs 时还实现了 $O(\epsilon^{-2/p})$ 的全局速率，并且当结合重启时，对满足一致/强 Minty 条件的光滑非单调 VIs 实现了全局线性和局部超线性速率。