Pufferfish：无额外开销的通信高效模型
机器学习
2021-03-09 v1
摘要
为缓解分布式模型训练中的通信开销，若干研究提出使用压缩随机梯度，通常通过稀疏化或量化实现。此类技术实现了高压缩比，但在许多情况下会带来显著的计算开销或一定的精度损失。在本工作中，我们提出 Pufferfish，一种通信与计算高效的分布式训练框架，通过将梯度压缩融入模型训练过程，训练低秩、预分解的深度网络。Pufferfish 不仅减少通信，还完全绕开任何与压缩相关的计算开销，并取得与最先进、现成深度模型相同的精度。Pufferfish 可直接集成到当前深度学习框架中，仅需最小的实现修改。我们在真实分布式环境下的广泛实验，跨越多种大规模机器学习任务，表明 Pufferfish 相较 PyTorch 中最新分布式训练 API 实现了高达 1.64 倍的端到端加速且无精度损失。相较于彩票假设（Lottery Ticket Hypothesis）模型，Pufferfish 产生同等精度、小参数的模型，同时避免了“中彩票”的负担。Pufferfish 还比 SOTA 结构化模型剪枝方法产生更精确且更小的模型。
引用
@article{arxiv.2103.03936,
title = {Pufferfish: Communication-efficient Models At No Extra Cost},
author = {Hongyi Wang and Saurabh Agarwal and Dimitris Papailiopoulos},
journal= {arXiv preprint arXiv:2103.03936},
year = {2021}
}
备注
Accepted by MLSys 2021