THC：利用张量同态压缩加速分布式深度学习
机器学习
2024-03-07 v2 人工智能
网络与互联网体系结构
摘要
深度神经网络（DNNs）是图像分类、计算机视觉和自然语言处理等关键应用场景的事实标准。随着 DNN 和数据集规模增大，它们需要在越来越大的集群上进行分布式训练。一个主要瓶颈是随之产生的通信开销，即工作节点在每轮中交换模型更新（即梯度）。为解决这一瓶颈并加速训练，一种广泛部署的方法是压缩。然而，以往的部署通常通过在每个方向简单地使用单向梯度压缩方案来应用双向压缩方案。这导致参数服务器上的显著计算开销和压缩误差增加，从而延长训练时间并降低准确率。我们提出张量同态压缩（THC），一种新颖的双向压缩框架，能够直接聚合压缩值，从而消除上述计算开销。此外，THC 与网内聚合（INA）兼容，可进一步加速。我们的评估表明，与使用最先进（SOTA）的系统相比，采用 THC 训练代表性的视觉和语言模型，在使用 INA 时达到目标准确率的速度快 1.40 倍至 1.47 倍，在使用软件参数服务器（PS）时快 1.28 倍至 1.33 倍。
引用
@article{arxiv.2302.08545,
title = {THC: Accelerating Distributed Deep Learning Using Tensor Homomorphic Compression},
author = {Minghao Li and Ran Ben Basat and Shay Vargaftik and ChonLam Lao and Kevin Xu and Michael Mitzenmacher and Minlan Yu},
journal= {arXiv preprint arXiv:2302.08545},
year = {2024}
}
备注
12 pages body, 21 pages total