基于并行随机游走的去中心化共识优化
分布式、并行与集群计算
2019-11-25 v1 最优化与控制
摘要
乘子交替方向法（ADMM）近来被公认为一种有前景的大规模机器学习模型方法。然而，极少有结果从通信成本角度研究 ADMM，尤其是与运行时间联合考量。在本通讯中，我们研究 ADMM 在去中心化网络上求解共识优化问题时的通信效率与运行时间。我们首先回顾随机游走 ADMM（W-ADMM）的努力，其以运行时间为代价降低通信成本。为加速 W-ADMM 的收敛速度，我们提出并行随机游走 ADMM（PW-ADMM）算法，其中多个随机游走同时活跃。此外，为进一步降低 PW-ADMM 的运行时间，通过将对带选择的随机游走（Random Walk with Choice）与 PW-ADMM 结合，提出了智能并行随机游走 ADMM（IPW-ADMM）算法。通过仿真数值结果，我们证明了所提算法相比最先进的方法在通信上高效且运行速度快。
引用
@article{arxiv.1911.09747,
title = {Decentralized Consensus Optimization Based on Parallel Random Walk},
author = {Yu Ye and Hao Chen and Zheng Ma and Ming Xiao},
journal= {arXiv preprint arXiv:1911.09747},
year = {2019}
}