ByteComp：重新审视分布式训练中的梯度压缩
机器学习
2022-06-08 v2 分布式、并行与集群计算
摘要
梯度压缩（GC）是解决分布式深度学习（DDL）中通信瓶颈的一种有前景的方法。然而，由于张量之间复杂的相互作用，将GC应用于DDL时很难找到最优压缩策略。为充分发挥GC的优势，必须解决两个问题：1）如何表达任意DDL训练任务的所有压缩策略及相应的张量间相互作用？2）如何快速选择近最优压缩策略？本文提出ByteComp来回答这些问题。它首先设计了一种决策树抽象来表达所有压缩策略，并建立了经验模型来对张量计算、通信和压缩进行时间线建模，使ByteComp能够推导张量间复杂的相互作用。随后设计了一种压缩决策算法，分析张量相互作用以剔除和优先排序策略，并将压缩最优地卸载到CPU。实验评估表明，对于代表性的DDL训练任务，ByteComp相比最先进的支持压缩的系统可将训练吞吐量提升高达77%。此外，选择压缩策略所需的计算时间以毫秒计，且所选策略仅偏离最优值几个百分点。
引用
@article{arxiv.2205.14465,
title = {ByteComp: Revisiting Gradient Compression in Distributed Training},
author = {Zhuang Wang and Haibin Lin and Yibo Zhu and T. S. Eugene Ng},
journal= {arXiv preprint arXiv:2205.14465},
year = {2022}
}