关于Polyak-Łojasiewicz条件下有限和光滑优化的复杂度

本文考虑形如$\min_{{\bf x}\in{\mathbb R}^d} f({\bf x})\triangleq \frac{1}{n}\sum_{i=1}^n f_i({\bf x})$的优化问题，其中$f(\cdot)$满足参数为$\mu$的Polyak--Łojasiewicz (PL)条件，且$\{f_i(\cdot)\}_{i=1}^n$是$L$-均方光滑的。我们证明，任何梯度方法至少需要$\Omega(n+\kappa\sqrt{n}\log(1/\epsilon))$次增量一阶预言机（IFO）调用才能找到$\epsilon$-次优解，其中$\kappa\triangleq L/\mu$是问题的条件数。这一结果几乎匹配了最知名一阶方法的IFO复杂度上界。我们还研究了分布式设置中最小化PL函数的问题，其中个体$f_1(\cdot),\dots,f_n(\cdot)$位于由$n$个智能体组成的连通网络上。我们给出了通信轮次、时间成本和局部一阶预言机调用的下界，分别为$\Omega(\kappa/\sqrt{\gamma}\,\log(1/\epsilon))$、$\Omega((\kappa+\tau\kappa/\sqrt{\gamma}\,)\log(1/\epsilon))$和$\Omega\big(n+\kappa\sqrt{n}\log(1/\epsilon)\big)$，其中$\gamma\in(0,1]$是与网络相关的混合矩阵的谱间隙，$\tau>0$是每轮通信的时间成本。此外，我们提出了一种分散式一阶方法，该方法在期望上几乎匹配上述下界。