无重启 Anderson 加速：一种具有 $n$ 步超二次收敛率的新方法

在本文中，我们提出了一种求解非线性方程的新型 Anderson 加速方法，该方法不需要重启策略即可实现数值稳定性。我们提出了该算法的贪心版本和随机版本。具体而言，贪心版本选择能够使当前 Jacobian 矩阵近似的某种进度度量最大化的方向。相比之下，随机版本选择随机高斯向量作为更新近似 Jacobian 矩阵的方向。此外，我们的算法（包括贪心版本和随机版本）具有 $n$ 步超二次收敛率，其中 $n$ 为目标问题的维度。例如，对于任意 $k\geq 0$，随机版本的显式收敛率可表示为 $\norm{\vx_{k+n+1} - \vx_*} / \norm{\vx_k- \vx_*}^2 = \cO\left(\left(1-\frac{1}{n}\right)^{kn}\right)$，其中 $\vx_*$ 为目标问题的最优解。这种收敛率在 Anderson 加速和拟牛顿方法中是全新的。实验也验证了我们算法的快速收敛率。