定步长有向图上梯度推送算法的收敛结果
最优化与控制
2025-04-17 v2 分布式、并行与集群计算
信号处理
摘要
由于其广泛的多领域应用，分布式优化受到了大量关注。它由多个通过图连接的智能体以协作方式优化总代价。通常在实际应用中，智能体的图由有向图给出。梯度推送算法是智能体由有向图连接时分布式优化的基本方法。尽管在文献中被广泛使用，但对于步长为常数且定义域为全空间这一重要情形，其收敛性质尚未被很好确立。本工作证明：若步长α小于某一特定值，则步长α>0的梯度推送算法以指数速度快速收敛到优化器的O(α)邻域。为此，我们假设各代价函数光滑且总代价强凸。提供了数值实验以支持该理论收敛结果。我们还给出一项数值测试表明，梯度推送算法可能比Push-DIGing算法更快地逼近极小点的小邻域，后者是一种涉及智能体梯度信息通信的梯度推送算法变体。
引用
@article{arxiv.2302.08779,
title = {On the convergence result of the gradient-push algorithm on directed graphs with constant stepsize},
author = {Woocheol Choi and Doheon Kim and Seok-Bae Yun},
journal= {arXiv preprint arXiv:2302.08779},
year = {2025}
}