揭开 MLPerf 基准测试套件的面纱
机器学习
2019-08-27 v1 机器学习
摘要
MLPerf 作为新兴的机器学习基准测试套件，力求覆盖机器学习的广泛应用。我们对其特征及 MLPerf 基准与 DAWNBench、DeepBench 等先前深度学习基准的差异展开研究。我们发现，诸如 MLPerf 的应用基准（虽富含内核）展现出与 DeepBench 等内核基准不同的特征。MLPerf 基准套件包含一组多样模型，可揭示系统中的各类瓶颈。基于我们的发现，多 GPU 系统间需具备专用的低延迟互连以实现最优分布式深度学习训练。我们还观察到不同 MLPerf 模型间扩展效率存在差异。不同模型展现的差异凸显了多 GPU 训练中智能调度策略的重要性。另一观察是 CPU 利用率随用于训练的 GPU 数量增加而上升。印证先前工作，我们也观察并量化了通过编译器优化、混合精度训练及 Tensor Cores 使用可获得的改进。
引用
@article{arxiv.1908.09207,
title = {Demystifying the MLPerf Benchmark Suite},
author = {Snehil Verma and Qinzhe Wu and Bagus Hanindhito and Gunjan Jha and Eugene B. John and Ramesh Radhakrishnan and Lizy K. John},
journal= {arXiv preprint arXiv:1908.09207},
year = {2019}
}