一种用于训练内存受限深度神经网络的计算图划分方法
分布式、并行与集群计算
2021-05-06 v2
摘要
许多最先进的深度神经网络(DNNs)具有巨大的内存需求。在训练这些模型时,有限的设备内存成为瓶颈。我们提出 ParDNN,一种针对以计算图表示的 DNN 的自动、通用且非侵入式划分策略。ParDNN 决定 DNN 底层计算图操作在多设备间的放置,以满足设备内存约束并最小化训练时间。ParDNN 完全独立于 DNN 的深度学习方面。它无需对模型或其操作内核的系统级实现进行任何修改。ParDNN 可在数秒至数分钟内划分具有数十亿参数和数十万操作的 DNN。我们在 16 块 GPU 上使用 TensorFlow 的实验表明,可高效训练 5 个超大型模型,同时在批大小和训练吞吐量上均实现超线性扩展。ParDNN 在性能上优于或定性地改进了相关工作。
引用
@article{arxiv.2008.08636,
title = {A Computational-Graph Partitioning Method for Training Memory-Constrained DNNs},
author = {Fareed Qararyah and Mohamed Wahib and Doğa Dikbayır and Mehmet Esat Belviranli and Didem Unat},
journal= {arXiv preprint arXiv:2008.08636},
year = {2021}
}