关于Push-Pull方法在有向图上的去中心化优化线性加速
最优化与控制
2025-09-24 v3
摘要
线性加速属性对于展示分布算法相对于单节点方法的优势至关重要。本文研究了一种广泛采用的在有向图( digraphs)上的去中心化优化算法——随机Push-Pull方法。与仅依赖行随机或列随机混合矩阵的方法不同，Push-Pull避免了非线性校正，在各种设置下表现出优越的实证性能。然而，其理论分析仍然具有挑战性，线性加速属性尚未得到普遍证明——这揭示了实证成功与有限理论理解之间的显著鸿沟。为弥合这一鸿沟，我们提出了一种新颖的分析框架，证明了Push-Pull在任意强连通digraph上实现线性加速。我们的结果为随机Push-Pull提供了全面的理论理解，使其理论与实证性能相吻合。代码：https://github.com/pkumelon/PushPull。
引用
@article{arxiv.2506.18075,
title = {On the Linear Speedup of the Push-Pull Method for Decentralized Optimization over Digraphs},
author = {Liyuan Liang and Gan Luo and Kun Yuan},
journal= {arXiv preprint arXiv:2506.18075},
year = {2025}
}