GIANT: 全局改进的近似牛顿法用于分布式优化
机器学习
2018-09-12 v5 分布式、并行与集群计算
最优化与控制
机器学习
摘要
针对分布式计算环境，我们考虑经验风险最小化问题，并提出一种分布式且通信高效的牛顿型优化方法。在每次迭代中，每个工作节点局部地找到一个近似牛顿方向，并将其发送给主驱动器。然后，主驱动器对所有从工作节点接收到的近似牛顿方向进行平均，形成全局改进的近似牛顿方向。GIANT 具有高度通信效率，并自然地利用了局部计算与全局通信之间的权衡：更多的局部计算导致更少的总通信轮次。理论上，我们表明 GIANT 比一阶方法和现有的分布式牛顿型方法具有更快的收敛速度。此外，与许多现有的分布式牛顿型方法以及流行的一阶方法形成鲜明对比的是，GIANT 的一个高度有利的实际特征是它只涉及一个调优参数。我们在计算机集群上进行了大规模实验，并经验性地证明了 GIANT 的优越性能。
引用
@article{arxiv.1709.03528,
title = {GIANT: Globally Improved Approximate Newton Method for Distributed Optimization},
author = {Shusen Wang and Farbod Roosta-Khorasani and Peng Xu and Michael W. Mahoney},
journal= {arXiv preprint arXiv:1709.03528},
year = {2018}
}
备注
Fixed some typos. Improved writing