带延迟梯度的任意时刻小批量
分布式、并行与集群计算
2020-12-17 v1 最优化与控制
摘要
分布式优化在实践中被广泛部署以解决广泛的问题。在典型的异步方案中，工作节点针对过时的优化参数计算梯度，而主节点使用陈旧（即延迟）的梯度来更新参数。虽然使用陈旧梯度会减慢收敛速度，但异步方法通过允许更频繁的更新和减少空闲时间，就挂钟时间而言加速了整体优化。本文中，我们提出一种称为带延迟梯度的任意时刻小批量（AMB-DG）的按周期可变小批量方案。在 AMB-DG 中，工作节点在固定时间的周期内计算梯度，而主节点使用陈旧梯度更新优化参数。我们从遗憾界和收敛速度方面分析 AMB-DG。我们证明对于凸光滑目标函数，AMB-DG 达到最优遗憾界和收敛速度。我们将 AMB-DG 的性能与任意时刻小批量（AMB）比较，AMB 与 AMB-DG 类似但不使用陈旧梯度。在 AMB 中，工作节点每次向主节点传输梯度后保持空闲，直到从主节点接收到更新参数，而 AMB-DG 中工作节点从不空闲。我们还将 AMB-DG 扩展到全分布式设置。我们在通信延迟较长时比较 AMB-DG 与 AMB，观察到 AMB-DG 在挂钟时间上比 AMB 收敛更快。我们还将 AMB-DG 的性能与使用延迟梯度的先进固定小批量方法比较。我们在真实分布式系统上运行实验，观察到 AMB-DG 收敛速度超过两倍。
引用
@article{arxiv.2012.08616,
title = {Anytime Minibatch with Delayed Gradients},
author = {Haider Al-Lawati and Stark C. Draper},
journal= {arXiv preprint arXiv:2012.08616},
year = {2020}
}
备注
Accepted for publication in the IEEE Transaction on Signal and Information Processing over Networks