FFCV：通过消除数据瓶颈加速训练
机器学习
2023-06-23 v1 计算机视觉与模式识别
摘要
我们提出 FFCV，一个用于简便且快速机器学习模型训练的库。FFCV 通过消除训练过程中（通常微妙的）数据瓶颈来加速模型训练。具体而言，我们结合了高效文件存储格式、缓存、数据预加载、异步数据传输和即时编译等技术，以（a）使数据加载与传输显著更高效，确保 GPU 能达到满利用率；以及（b）将尽可能多的数据处理异步卸载到 CPU，释放 GPU 周期用于训练。使用 FFCV，我们在 ImageNet 数据集上训练 ResNet-18 和 ResNet-50，在准确率与训练时间之间取得了有竞争力的权衡。例如，我们能够在单台机器上仅用 20 分钟将 ImageNet ResNet-50 模型训练至 75\%。我们通过若干案例研究展示了 FFCV 的性能、易用性、可扩展性以及适应资源约束的能力。详细的安装说明、文档和 Slack 支持频道可在 https://ffcv.io/ 获取。
引用
@article{arxiv.2306.12517,
title = {FFCV: Accelerating Training by Removing Data Bottlenecks},
author = {Guillaume Leclerc and Andrew Ilyas and Logan Engstrom and Sung Min Park and Hadi Salman and Aleksander Madry},
journal= {arXiv preprint arXiv:2306.12517},
year = {2023}
}