松弛光滑性下的去中心化随机非凸优化

本文研究了去中心化优化问题 $f(\mathbf{x})=\frac{1}{m}\sum_{i=1}^m f_i(\mathbf{x})$，其中每个局部函数具有形式 $f_i(\mathbf{x}) = \mathbb{E}[F(\mathbf{x};\boldsymbol{\xi}_i)]$，该函数是 $(L_0,L_1)$-光滑的但可能非凸，且随机变量 $\boldsymbol{\xi}_i$ 服从分布 $\mathcal{D}_i$。我们提出了一种新颖的算法——去中心化归一化随机梯度下降（DNSGD），该算法可以在每个局部智能体处达到 $\epsilon$-驻点。我们提出了一种基于与梯度范数和共识误差乘积相关的Lyapunov函数的分析框架，用于分析松弛光滑设定下的去中心化一阶方法。我们给出了每个智能体的样本复杂度上界 $\mathcal{O}(m^{-1}(L_f\sigma^2\Delta_f\epsilon^{-4} + \sigma^2\epsilon^{-2} + L_f^{-2}L_1^3\sigma^2\Delta_f\epsilon^{-1} + L_f^{-2}L_1^2\sigma^2))$ 以及通信复杂度 $\tilde{\mathcal{O}}((L_f\epsilon^{-2} + L_1\epsilon^{-1})\gamma^{-1/2}\Delta_f)$，其中 $L_f=L_0+L_1\zeta$，$\sigma^2$ 为随机梯度的方差，$\Delta_f$ 为初始最优函数值差距，$\gamma$ 为网络的谱隙，$\zeta$ 为梯度差异度。在 $L_1=0$ 的特殊情况下，上述结果与松弛光滑性下随机非凸优化的下界（几乎）一致。我们还进行了数值实验以展示我们方法的经验优越性。