LocalNewton：缓解分布式学习的通信瓶颈
分布式、并行与集群计算
2021-05-18 v1 机器学习
摘要
为解决主从框架中分布式优化的通信瓶颈问题，我们提出 LocalNewton，一种带局部平均的分布式二阶算法。在 LocalNewton 中，工作机器在每次迭代中仅使用自身本地内存中存储的数据和模型，通过寻找合适的二阶下降方向来更新模型。我们让工作机器在本地运行多次这样的迭代，并且仅每若干（例如 L）次迭代才将模型通信给主节点一次。LocalNewton 非常实用，因为它只需要一个超参数，即本地迭代次数 L。我们使用基于矩阵浓度的新技术为 LocalNewton 提供理论保证，并通过详细的实证评估加以验证。为增强实用性，我们设计了一种自适应方案来选择 L，并表明这会在训练进行过程中减少两次模型同步之间工作机器的本地迭代次数，从而逐步提升主节点处的模型质量。通过使用多个真实世界数据集在 AWS Lambda 工作机器和 AWS EC2 主节点上进行大量实验，我们表明，与最先进算法相比，LocalNewton 达到相同训练损失所需的通信轮次（主节点与 worker 之间）少于 60%，端到端运行时间少于 40%。
引用
@article{arxiv.2105.07320,
title = {LocalNewton: Reducing Communication Bottleneck for Distributed Learning},
author = {Vipul Gupta and Avishek Ghosh and Michal Derezinski and Rajiv Khanna and Kannan Ramchandran and Michael Mahoney},
journal= {arXiv preprint arXiv:2105.07320},
year = {2021}
}
备注
To be published in Uncertainty in Artificial Intelligence (UAI) 2021