DAve-QN：一种具有局部超线性收敛速率的分布式平均拟牛顿方法
最优化与控制
2019-06-11 v3
摘要
在本文中，我们考虑在主/从通信模型下求解经验风险最小化问题的分布式算法。我们开发了一种分布式异步拟牛顿算法，该算法可以实现超线性收敛。据我们所知，这是第一个具有超线性收敛保证的分布式异步算法。我们的算法在通信上是高效的，因为在每次迭代中，主节点和工作节点通信的向量大小为O(p)，其中p是决策变量的维度。所提出的方法基于一种决策向量和梯度的分布式异步平均方案，该方案能有效捕获目标函数的局部Hessian信息。我们的收敛理论支持受限于有界延迟以及具有有界时间平均值的无界延迟的异步计算。与大多数异步优化文献不同，当延迟很大时，我们不需要选择更小的步长。我们提供的数值实验与我们的理论结果相符，并展示了与最先进的分布式算法相比的显著改进。
引用
@article{arxiv.1906.00506,
title = {DAve-QN: A Distributed Averaged Quasi-Newton Method with Local Superlinear Convergence Rate},
author = {Saeed Soori and Konstantin Mischenko and Aryan Mokhtari and Maryam Mehri Dehnavi and Mert Gurbuzbalaban},
journal= {arXiv preprint arXiv:1906.00506},
year = {2019}
}