Kimad：具备带宽感知的自适应梯度压缩
机器学习
2023-12-14 v1 分布式、并行与集群计算
信息论
math.IT
摘要
在分布式训练中，通信往往成为瓶颈。作为回应，我们引入了Kimad，这是一种提供自适应梯度压缩的解决方案。通过持续监控带宽，Kimad调整压缩比例以匹配特定神经网络层的需求。我们详尽的测试和证明证实了Kimad的卓越性能，使其成为分布式深度学习中自适应压缩的基准。
引用
@article{arxiv.2312.08053,
title = {Kimad: Adaptive Gradient Compression with Bandwidth Awareness},
author = {Jihao Xin and Ivan Ilin and Shunkang Zhang and Marco Canini and Peter Richtárik},
journal= {arXiv preprint arXiv:2312.08053},
year = {2023}
}