关于两种分散式算法的线性收敛
最优化与控制
2021-02-05 v2 分布式、并行与集群计算
机器学习
数值分析
数值分析
摘要
分散式算法在连通网络上求解多智能体问题，其中信息仅能与可达邻居交换。尽管已存在若干分散式优化算法，分散式与集中式算法在收敛条件与收敛速率上仍存在差距。本文通过考察两种分散式算法 EXTRA 与 NIDS 来填补部分差距。它们在强凸目标函数下均线性收敛。我们将回答关于它们的两个问题：其步长的 optimal 上界是什么？分散式算法对线性收敛是否比集中式需要更多函数性质？更具体地，我们放宽了两种算法线性收敛所需的条件。对于 EXTRA，我们证明其步长与集中式算法相当。对于 NIDS，步长上界被证明与集中式算法完全相同。此外，我们放宽了对目标函数与混合矩阵的要求。我们在最弱条件下给出了两种算法的线性收敛结果。
引用
@article{arxiv.1906.07225,
title = {On linear convergence of two decentralized algorithms},
author = {Yao Li and Ming Yan},
journal= {arXiv preprint arXiv:1906.07225},
year = {2021}
}
备注
accepted to JOTA