符号位足矣：一种用于多跳全归约极限压缩的学习同步框架
机器学习
2022-10-14 v1 分布式、并行与集群计算
摘要
传统的一位压缩随机梯度下降无法直接用于多跳全归约（multi-hop all-reduce），后者是公有云等网络密集型高性能计算系统中广泛采用的分布式训练范式。根据我们的理论发现，由于级联压缩，训练过程在收敛性能上存在显著退化。为克服该限制，我们实现了一种基于符号位压缩的学习同步框架Marsit。它通过精细的位运算实现无偏符号聚合，并借助特定的全局补偿机制缓解压缩偏差，从而防止级联压缩。所提框架保持了与非压缩机制相同的理论收敛速率。实验结果表明，Marsit在保持与不压缩训练相同精度的同时，最多可减少35%的训练时间。
引用
@article{arxiv.2204.06787,
title = {Sign Bit is Enough: A Learning Synchronization Framework for Multi-hop All-reduce with Ultimate Compression},
author = {Feijie Wu and Shiqi He and Song Guo and Zhihao Qu and Haozhao Wang and Weihua Zhuang and Jie Zhang},
journal= {arXiv preprint arXiv:2204.06787},
year = {2022}
}
备注
Accepted by DAC 2022