通过步长对冲实现加速 I：多步下降与白银步长调度

我们能否在不改变算法的情况下加速梯度下降的收敛——仅通过仔细选择步长？令人惊讶的是，我们证明答案是肯定的。我们提出的白银步长调度（Silver Stepsize Schedule）在 $k^{\log_{\rho} 2} \approx k^{0.7864}$ 次迭代内优化强凸函数，其中 $\rho=1+\sqrt{2}$ 为白银比，$k$ 为条件数。这介于教科书式的未加速速率 $k$ 与 Nesterov 于 1983 年提出的加速速率 $\sqrt{k}$ 之间。非强凸情形在概念上相同，标准黑盒归约意味着类似的加速速率 $\varepsilon^{-\log_{\rho} 2} \approx \varepsilon^{-0.7864}$。我们猜想并提供部分证据，表明这些速率在所有可能的步长调度中是最优的。白银步长调度以完全显式的方式递归构造。它是非单调的、类分形的，且近似以 $k^{\log_{\rho} 2}$ 为周期。这导致收敛速率中的相变：初始为超指数（加速 regime），随后为指数（饱和 regime）。