中文

迈向分布式对偶平均的 $O(\frac{1}{t})$ 收敛速率

最优化与控制 2020-03-20 v2

摘要

近年来,分布式对偶平均因其在多智能体优化中处理约束和动态网络的优越性而受到越来越多的关注。然而,迄今为止报道的所有分布式对偶平均方法都考虑非光滑问题,且收敛速率为 O(1t)O(\frac{1}{\sqrt{t}})。为了对光滑问题获得改进的收敛保证,本文提出了一种二阶一致性方案,协助每个智能体更准确地在本地跟踪全局对偶变量。这一新方案结合目标的光滑性,确保了由不完整的全局信息引起的一致性误差随时间累积被上界所界。随后,对带有不精确梯度预言机的对偶平均进行了严格研究,以补偿一致性误差并实现 O(1t)O(\frac{1}{t}) 收敛速率。所提方法在一个大规模 LASSO 问题中得到了验证。

关键词

引用

@article{arxiv.1911.05979,
  title  = {Towards an $O(\frac{1}{t})$ convergence rate for distributed dual averaging},
  author = {Changxin Liu and Huiping Li and Yang Shi},
  journal= {arXiv preprint arXiv:1911.05979},
  year   = {2020}
}

备注

6 pages, 2 figures