利用数据回响加速神经网络训练
机器学习
2020-05-11 v3
摘要
在摩尔定律的暮光中，GPU和其他专用硬件加速器极大地加速了神经网络训练。然而，训练流程的早期阶段，如磁盘I/O和数据预处理，并不在加速器上运行。随着加速器的不断改进，这些早期阶段将日益成为瓶颈。在本文中，我们引入了“数据回响”，它减少了早期流程阶段的总计算量，并在加速器上游的计算主导训练时间时加速训练。数据回响重用（或“回响”）早期流程阶段的中间输出，以回收空闲容量。我们研究了不同数据回响算法在各种工作负载、不同回响量和不同批量大小下的行为。我们发现，在所有设置中，至少有一种数据回响算法可以使用更少的上游计算达到基线的预测性能。当通过网络读取训练数据时，我们测量到ResNet-50在ImageNet上的挂钟时间减少了3.25倍。
引用
@article{arxiv.1907.05550,
title = {Faster Neural Network Training with Data Echoing},
author = {Dami Choi and Alexandre Passos and Christopher J. Shallue and George E. Dahl},
journal= {arXiv preprint arXiv:1907.05550},
year = {2020}
}