去中心化光滑非凸有限和优化的复杂度研究

我们研究去中心化优化问题 $\min_{{\bf x}\in{\mathbb R}^d} f({\bf x})\triangleq \frac{1}{m}\sum_{i=1}^m f_i({\bf x})$，其中第 $i$ 个智能体上的局部函数形如 $f_i({\bf x})\triangleq \frac{1}{n}\sum_{j=1}^n f_{i,j}({\bf x})$，且每个个体函数 $f_{i,j}$ 光滑但可能非凸。我们提出一种称为去中心化概率递归梯度下降（DEcentralized probAbilistic Recursive gradiEnt deScenT, DEAREST）的随机算法，其在每个智能体上达到 $\epsilon$-平稳点所需的通信轮数为 $\tilde{\mathcal O}(L\epsilon^{-2}/\sqrt{\gamma}\,)$，计算轮数为 $\tilde{\mathcal O}(n+(L+\min\{nL, \sqrt{n/m}\bar L\})\epsilon^{-2})$，局部增量一阶预言机调用次数为 ${\mathcal O}(mn + {\min\{mnL, \sqrt{mn}\bar L\}}{\epsilon^{-2}})$，其中 $L$ 为目标函数的光滑参数，$\bar L$ 为所有个体函数的均方光滑参数，$\gamma$ 为与网络相关的混合矩阵谱隙。我们随后建立下界，表明所提方法近最优。注意我们算法设计与分析中使用的光滑参数 $L$ 与 $\bar L$ 是全局的，从而得到比依赖局部光滑的现有结果更紧的复杂度界。我们进一步将 DEAREST 扩展至在 Polyak-{\L}ojasiewicz 条件下求解去中心化有限和优化，同样达到近最优复杂度界。