BlueFog:使去中心化算法在优化与深度学习中实用化
分布式、并行与集群计算
2021-11-09 v1 机器学习
摘要
去中心化算法是一种通过计算形式,通过直接相连智能体间的低成本通信依赖局部动态实现全局目标。在涉及分布式数据集的大规模优化任务上,去中心化算法已展现出相对于带中心节点的分布式算法更强、有时更优的性能。近来,为深度学习开发去中心化算法备受关注。它们被视为使用参数服务器或Ring-Allreduce协议的低通信开销替代方案。然而,缺乏易用高效的软件包使多数去中心化算法仅停留在纸面。为填补空白,我们引入BlueFog,一个用于直接、高性能实现多种去中心化算法的Python库。基于对各种通信操作的统一抽象,BlueFog提供直观接口以实现一系列去中心化算法,从使用静态无向图进行同步操作,到使用动态有向图进行异步操作。BlueFog还采用若干系统级加速技术进一步优化深度学习任务上的性能。在主流DNN训练任务中,BlueFog达到更高吞吐,并实现相对Horovod(基于Ring-Allreduce的最先进分布式深度学习包)整体加速。BlueFog开源地址:https://github.com/Bluefog-Lib/bluefog。
引用
@article{arxiv.2111.04287,
title = {BlueFog: Make Decentralized Algorithms Practical for Optimization and Deep Learning},
author = {Bicheng Ying and Kun Yuan and Hanbin Hu and Yiming Chen and Wotao Yin},
journal= {arXiv preprint arXiv:2111.04287},
year = {2021}
}