DeepReduce：面向分布式深度学习的稀疏张量通信框架
机器学习
2021-02-08 v1
摘要
稀疏张量在分布式深度学习中频繁出现，既可作为深度神经网络梯度的直接产物，也可作为显式稀疏化过程的结果。现有通信原语对深度学习的特性不加区分；因此，它们带来了不必要的通信开销。本文介绍 DeepReduce，一个专为分布式深度学习定制的稀疏张量压缩通信通用框架。DeepReduce 将稀疏张量分解为数值与索引两组，并允许对这两组分别及组合压缩。我们支持多种常见压缩器，如用于数值的 Deflate 以及用于索引的游程编码。我们还提出两种取得更优结果的新型压缩方案：基于曲线拟合的数值压缩与基于布隆过滤器的索引压缩。DeepReduce 与现有梯度稀疏器正交，可与其结合使用，且对终端用户透明，从而显著降低通信开销。作为概念验证，我们在 Tensorflow 与 PyTorch 上实现了该方法。我们使用大型真实模型的实验表明，DeepReduce 比现有方法传输更少数据且带来更低计算开销，且不影响训练精度。
引用
@article{arxiv.2102.03112,
title = {DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning},
author = {Kelly Kostopoulou and Hang Xu and Aritra Dutta and Xin Li and Alexandros Ntoulas and Panos Kalnis},
journal= {arXiv preprint arXiv:2102.03112},
year = {2021}
}