在分布式本地数据集上采用线性增长小批量大小的 Hogwild!

Hogwild! 实现了异步随机梯度下降（SGD），其中多个并行线程访问包含训练数据的公共存储库，执行 SGD 迭代并更新代表联合学习（全局）模型的共享状态。我们考虑训练数据以异构方式分布在本地数据集中的大数据分析场景——我们希望将 SGD 计算移至本地数据所在的本地计算节点。这些本地 SGD 计算的结果由一个模仿 Hogwild! 的中央“聚合器”聚合。我们展示了本地计算节点如何从选择较小的小批量大小开始，逐渐增大至较大的小批量大小，以降低通信成本（与聚合器的轮次交互）。我们改进了现有文献，并表明对于异构数据的强凸问题，通信轮次为 $O(\sqrt{K})$，其中 $K$ 是所有本地计算节点上梯度计算的总数。针对我们的方案，我们为异构数据的强凸问题证明了一种严密且新颖的非平凡收敛分析，该分析未使用许多现有出版物中常见的有界梯度假设。严密性源于我们对收敛速率上下界的证明，二者仅相差一个常数因子。我们展示了针对有偏（即异构）和无偏本地数据集的普通凸和非凸问题的实验结果。