梯度下降与梯度流的路径长度界

我们针对各类光滑凸和非凸函数，推导了梯度下降（GD）和梯度流（GF）曲线的路径长度 $\zeta$ 的界。除其他结果外，我们证明：(a) 若迭代以因子 $(1-c)$ 线性收敛，则 $\zeta$ 至多为 $\mathcal{O}(1/c)$；(b) 在 Polyak-Kurdyka-Lojasiewicz（PKL）条件下，$\zeta$ 至多为 $\mathcal{O}(\sqrt{\kappa})$，其中 $\kappa$ 为条件数，且至少为 $\widetilde\Omega(\sqrt{d} \wedge \kappa^{1/4})$；(c) 对于二次函数，$\zeta$ 为 $\Theta(\min\{\sqrt{d},\sqrt{\log \kappa}\})$，且在某些情况下可与 $\kappa$ 无关；(d) 仅假设凸性时，$\zeta$ 至多为 $2^{4d\log d}$；(e) 对于可分离拟凸函数，$\zeta$ 为 ${\Theta}(\sqrt{d})$。因此，我们推进了当前对 GD 和 GF 曲线性质超越收敛速率的理解。我们期望我们的技术能促进未来对其他算法的研究。