有向网络中具有线性收敛性的完全异步分布式优化

我们考虑分布式优化问题，其目标是在有向网络上最小化局部目标函数之和。尽管近来已被广泛研究，现有大多数算法是为同步或随机激活的实现而设计的，这可能在实践中造成死锁。截然不同的是，我们提出一种完全异步的推送-拉取梯度算法（APPG），其中每个节点通过使用来自邻居的（可能过时的）信息而无需等待任何其他节点即可更新。因此，它既无死锁，又对任意有界通信延迟具有鲁棒性。此外，我们构建两个新颖的增广网络以从最坏情况角度理论评估其性能，并表明如果局部函数具有 Lipschitz 连续梯度且它们的和满足 Polyak-Łojasiewicz 条件（不要求凸性），则 APPG 的每个节点以 $\mathcal{O}(\lambda^k)$ 的线性速率收敛到同一最优解，其中 $\lambda\in(0,1)$ 且虚拟计数器 $k$ 无论哪个节点更新都增加一。这在很大程度上阐明了其线性加速效率，并显示出相对于同步版本的优势。最后，通过在 Covertype 数据集上的逻辑回归问题对 APPG 的性能进行了数值验证。