关于分散式非凸优化的发散性

我们研究一类通用的分散式算法，其中 $N$ 个智能体联合优化非凸目标 $f(u):=1/N\sum_{i=1}^{N}f_i(u)$，同时仅与它们的邻居通信。这类问题在建模许多信号处理和机器学习应用中已变得流行，并且已提出许多高效算法。然而，通过构造一些反例，我们表明当局部函数梯度 $\nabla f_i$ 的某些局部 Lipschitz 条件（LLC）不满足时，即使全局 Lipschitz 条件（GLC）满足（即和函数 $f$ 具有 Lipschitz 梯度），现有大多数分散式算法也会发散。这一观察提出了一个重要的开放问题：当 LLC 甚至 GLC 不满足时，如何设计分散式算法？为解答上述问题，我们设计了一种称为多级梯度跟踪算法（MAGENTA）的一阶算法，它能够在既无 LLC 也无 GLC 的情况下计算驻点解。特别地，我们证明所提算法以次线性速率收敛到某个 $\epsilon$-驻点解，其精确速率依赖于各种算法和问题参数。特别地，若局部函数 $f_i$ 为 $Q$ 阶多项式，则速率变为 $\mathcal{O}(1/\epsilon^{Q-1})$。对于 $Q=2$ 且每个 $f_i$ 满足 LLC 的特殊情况，该速率是紧的。据我们所知，这是首个研究既无 LLC 也无 GLC 的分散式非凸优化问题的尝试。