关于极小化 Polyak-Łojasiewicz 函数的下界

Polyak-Łojasiewicz (PL) [Polyak, 1963] 条件比强凸性更弱，但足以保证梯度下降算法的全局收敛。在本文中，我们研究使用一阶预言机寻找近似最优解的算法的下界。我们证明，对于任意一阶算法，要找到一个具有 $\mu$-PL 常数的一般 $L$-光滑函数的 $\varepsilon$-近似最优解，至少需要 ${\Omega}\left(\frac{L}{\mu}\log\frac{1}{\varepsilon}\right)$ 的梯度代价。该结果表明梯度下降算法在极小化光滑 PL 函数方面是最优的，原因在于存在一个“困难”的 PL 函数，使得在忽略数值常数时，没有任何一阶算法能快于梯度下降。相比之下，众所周知，动量技术（例如 [Nesterov, 2003, chap. 2]）可证明地将梯度下降加速至 ${O}\left(\sqrt{\frac{L}{\hat{\mu}}}\log\frac{1}{\varepsilon}\right)$ 梯度代价，适用于 $L$-光滑且 $\hat{\mu}$-强凸的函数。因此，我们的结果区分了极小化光滑 PL 函数与光滑强凸函数的困难性，因为前者的复杂度在一般情况下无法通过任何多项式阶改进。