迈向广义光滑性下梯度下降的统一理论

我们研究经典优化问题$\min_{x \in \mathbb{R}^d} f(x)$，并分析非凸和凸设置下的梯度下降(GD)方法。众所周知，在$L$-光滑假设($\|\nabla^2 f(x)\| \leq L$)下，最小化二次上界$f(x_k) + \langle\nabla f(x_k), x_{k+1} - x_k\rangle + \frac{L}{2} \|x_{k+1} - x_k\|^2$的最优点是$x_{k+1} = x_k - \gamma_k \nabla f(x_k)$，步长$\gamma_k = \frac{1}{L}$。令人惊讶的是，在$\ell$-广义光滑假设($\|\nabla^2 f(x)\| \leq \ell(\|\nabla f(x)\|)$)下可以推导出类似结果。在这种情况下，我们推导出步长$$\gamma_k = \int_{0}^{1} \frac{d v}{\ell(\|\nabla f(x_k)\| + \|\nabla f(x_k)\| v)}.$$使用此步长规则，我们改进了现有的理论收敛速度，并在几个先前未探索的设置中获得了新结果。