理解面向深度神经网络端到端有效训练的数据预处理
机器学习
2023-04-19 v1 性能
摘要
在本文中，我们主要关注理解公有云中 DNN 训练的数据预处理流水线。首先，我们运行实验以测试使用原始数据或记录文件这两种主要数据预处理方法的性能影响。初步结果表明，即便启用了高度优化的数据预处理库 NVIDIA DALI 所提供的最高效率软件与硬件配置，数据预处理仍是明显的瓶颈。其次，我们识别潜在原因，运用多种优化方法，并呈现其优劣。我们希望本工作能为“数据存储、加载流水线”与“训练框架”的新协同设计，以及二者间灵活的资源配置提供启示，从而充分挖掘资源并最大化性能。
引用
@article{arxiv.2304.08925,
title = {Understand Data Preprocessing for Effective End-to-End Training of Deep Neural Networks},
author = {Ping Gong and Yuxin Ma and Cheng Li and Xiaosong Ma and Sam H. Noh},
journal= {arXiv preprint arXiv:2304.08925},
year = {2023}
}