在 KL 性质下提高去中心化梯度跟踪的收敛性

我们研究在网络上进行的去中心化多智能体优化，网络建模为无向图。优化问题由最小化光滑非凸函数加上凸扩展值函数组成，这会对解施加约束或额外结构（例如稀疏性、低秩）。我们进一步假设目标函数满足库尔迪亚克-洛亚斯维icz (KL) 性质，给定指数 $\theta\in [0,1)$。 KL 性质被证明适用于多个（非凸）实际应用中常见的函数；在集中设置下，它允许获得强收敛保证。本文在著名的去中心化梯度跟踪算法 SONATA 上建立了相同类型的收敛。具体地，$\textbf{(i)}$ 当 $\theta\in (0,1/2]$ 时，SONATA 生成的序列收敛于问题的平稳解，收敛速率为 R 线性；$\textbf{(ii)}$ 当 $\theta\in (1/2,1)$ 时，证明次线性收敛速率；最后$\textbf{(iii)}$ 当 $\theta=0$ 时，迭代结果要么在有限步数内收敛，要么以 R 线性速率收敛。这与集中 proximal 梯度算法的收敛行为相匹配，仅当 $\theta=0$ 时例外。数值结果验证了我们的理论发现。