时变网络中的分布式零阶随机优化

我们考虑一个分布式凸优化问题，其网络是时变的且并非总是强连通的。每个节点的局部代价函数受到某个随机过程的影响。网络中的所有节点协作以最小化其局部代价函数的平均值。我们工作的主要挑战在于，代价函数的梯度假定不可得，且必须仅基于代价函数的数值观测来估计。此类问题被称为零阶随机凸优化（zeroth-order stochastic convex optimization, ZOSCO）。本文朝具有 ZOSCO 设定的分布式优化问题迈出了第一步。所提算法在每次迭代包含两个基本步骤：i）每个单元根据其自身局部代价函数基于随机扰动单点梯度估计量更新局部变量；ii）每个单元与直接邻居交换其局部变量，然后执行加权平均。在代价函数光滑且强凸的情况下，经过 $T$ 次迭代后我们可达的优化误差为 $O(T^{-1/2})$。该结果令人关注，因为 $O(T^{-1/2})$ 是 ZOSCO 问题中的最优收敛速率。我们还研究了一般 Lipschitz 凸函数下的优化误差，结果为 $O(T^{-1/4})$。