数据加载流水线在深度神经网络训练中的重要性
计算机视觉与模式识别
2020-05-06 v1 机器学习
摘要
训练大规模深度神经网络是一个漫长且耗时的过程，通常需要多个GPU来加速。在大型模型中，加载数据所花费的时间占模型训练时间的很大一部分。由于GPU服务器通常价格昂贵，能够节省训练时间的技巧非常有价值。在需要大量数据增强操作的实际应用中，训练缓慢的现象尤为明显。数据增强技术包括：填充、旋转、添加噪声、下采样、上采样等。这些额外的操作增加了构建高效数据加载流水线以及探索现有工具以加速训练时间的需求。我们重点比较了为此任务设计的两种主要工具，即用于加速数据读取的二进制数据格式和用于加速数据增强的NVIDIA DALI。我们的研究表明，如果使用这些专用工具，训练时间可提升20%至40%。
引用
@article{arxiv.2005.02130,
title = {Importance of Data Loading Pipeline in Training Deep Neural Networks},
author = {Mahdi Zolnouri and Xinlin Li and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:2005.02130},
year = {2020}
}