扩展至野外：去中心化类Hogwild!的共享内存SGD
机器学习
2022-03-16 v1
摘要
凭借无锁异步的简洁性，Hogwild! 是在共享内存设置下并行化SGD的常用方法。尽管其广受欢迎并有相应的扩展，例如 PASSM+ 中并发进程使用分区梯度更新共享模型，但将其扩展到去中心化工件却出人意料地鲜有探索。据我们所知，此类方法尚无收敛理论，也没有评估加速效果的系统性数值比较。在本文中，我们提出一种算法，将去中心化分布式内存计算架构与每个节点自身运行多进程并行共享内存SGD相结合。我们的方案基于以下算法工具和特性：(a) 在工件的共享内存上异步局部梯度更新，(b) 部分反向传播，以及 (c) 局部模型的非阻塞原地平均。我们证明了我们的方法对非凸目标保证遍历收敛速率。在实践方面，我们展示了所提方法在 CIFAR-10、CIFAR-100 和 Imagenet 数据集的标准图像分类基准上表现出更高的吞吐量和具有竞争力的精度。我们的代码可在 https://github.com/bapi/LPP-SGD 获取。
引用
@article{arxiv.2203.06638,
title = {Scaling the Wild: Decentralizing Hogwild!-style Shared-memory SGD},
author = {Bapi Chatterjee and Vyacheslav Kungurtsev and Dan Alistarh},
journal= {arXiv preprint arXiv:2203.06638},
year = {2022}
}