面向深度学习推荐模型训练的双层自适应有损压缩加速通信
机器学习
2024-10-02 v5 分布式、并行与集群计算
摘要
DLRM是一种最先进的推荐系统模型，已在 various industry applications 中广泛采用。然而，DLRM模型的庞大尺寸需要使用多个设备/GPU进行高效训练。在这一过程中，收集来自所有设备的嵌入数据的 all-to-all 通信是一个耗时的瓶颈。为缓解这一问题，我们引入一种方法，利用受误差限制的有损压缩来减少通信数据大小并加速DLRM训练。我们开发了一种新颖的受误差限制的有损压缩算法，基于对嵌入数据特征的深入分析，以实现高压缩比。此外，我们引入一种双层自适应策略，用于误差调整，涵盖表级和迭代级，以平衡压缩收益与可能对准确性的影响。我们进一步针对GPU上的PyTorch张量优化了压缩器，最小化压缩开销。评估显示，我们的方法实现了1.38倍的训练加速，同时对准确性影响最小。
引用
@article{arxiv.2407.04272,
title = {Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression},
author = {Hao Feng and Boyuan Zhang and Fanjiang Ye and Min Si and Ching-Hsiang Chu and Jiannan Tian and Chunxing Yin and Summer Deng and Yuchen Hao and Pavan Balaji and Tong Geng and Dingwen Tao},
journal= {arXiv preprint arXiv:2407.04272},
year = {2024}
}
备注
camera-ready version for SC '24