数据加载器全景概览：性能对比分析
分布式、并行与集群计算
2022-09-29 v1 计算机视觉与模式识别
机器学习
性能
摘要
数据加载器负责在训练机器学习模型时将数据传输从存储设备送入 GPU，可能掌握着大幅提升训练任务性能的关键。近期的进展不仅显著减少了训练时间，还提供了诸如从 S3 等远程存储加载数据的新特性，展现出良好前景。在本文中，我们首次将数据集加载器作为深度学习（DL）工作流中的一个独立组件加以区分，并梳理其结构与特性。最后，我们全面比较了现有不同的数据加载库，它们在功能性、易用性和性能方面的权衡，以及从中得出的见解。
引用
@article{arxiv.2209.13705,
title = {An Overview of the Data-Loader Landscape: Comparative Performance Analysis},
author = {Iason Ofeidis and Diego Kiedanski and Leandros Tassiulas},
journal= {arXiv preprint arXiv:2209.13705},
year = {2022}
}
备注
17 pages, 28 figures