无混合精度的分布式低精度训练
计算机视觉与模式识别
2019-12-30 v2 分布式、并行与集群计算
摘要
低精度训练是在有限硬件资源上部署深度模型最流行的策略之一。深度卷积网络（DCN）的定点实现有望缓解复杂性并促进在嵌入式硬件上的潜在部署。然而，大多数低精度训练方案基于混合精度策略。本文对不同低精度训练策略进行了消融研究，并提出一种在整个训练过程中采用 IEEE FP-16 格式的解决方案。我们在 ImageNet-full 数据集的 128 GPU 集群上测试了 ResNet50。我们发现使用 FP32 格式训练深度模型并非必要。我们认为通信成本降低、模型压缩与大规模分布式训练是三个耦合问题。
引用
@article{arxiv.1911.07384,
title = {Distributed Low Precision Training Without Mixed Precision},
author = {Zehua Cheng and Weiyang Wang and Yan Pan and Thomas Lukasiewicz},
journal= {arXiv preprint arXiv:1911.07384},
year = {2019}
}