L3：面向高分辨率、高吞吐 DNN 训练的加速器友好型无损图像格式
计算机视觉与模式识别
2022-08-19 v1
摘要
深度神经网络（DNNs）的训练过程通常与 CPU 上的数据准备阶段以及 GPU 等加速器上的梯度计算阶段相流水线化。在理想的流水线中，端到端训练吞吐最终受限于加速器的吞吐，而非数据准备的吞吐。过去，DNN 训练流水线通过利用 JPEG 等轻量级有损图像格式编码的数据集实现了接近最优的吞吐。然而，随着需要高精度的应用越来越流行使用高分辨率、无损编码的数据集，由于 CPU 上图像解码吞吐低，数据准备阶段出现了性能问题。因此，我们提出 L3，一种用于高分辨率、高吞吐 DNN 训练的自定义轻量级无损图像格式。L3 的解码过程可在加速器上有效并行化，从而最小化 DNN 训练期间数据准备对 CPU 的干预。在 NVIDIA A100 GPU 上，对于 Cityscapes 数据集，L3 实现了比最流行的无损图像格式 PNG 高 9.29 倍的数据准备吞吐，从而带来 1.71 倍更高的端到端训练吞吐。与两种流行的有损图像格式 JPEG 和 WebP 相比，在同等指标性能下，L3 分别为 ImageNet 提供了高达 1.77 倍和 2.87 倍的端到端训练吞吐提升。
引用
@article{arxiv.2208.08711,
title = {L3: Accelerator-Friendly Lossless Image Format for High-Resolution, High-Throughput DNN Training},
author = {Jonghyun Bae and Woohyeon Baek and Tae Jun Ham and Jae W. Lee},
journal= {arXiv preprint arXiv:2208.08711},
year = {2022}
}
备注
To be published in 2022 European Conference on Computer Vision (ECCV)