介绍 Milabench: 面向 AI 加速器的基准测试
机器学习
2024-11-26 v2
摘要
AI 工作负载，特别是由深度学习驱动的工作负载，正在为高性能计算（HPC）系统引入标准 HPC 基准测试无法全面捕捉的新型使用模式。作为致力于深度学习的最大规模学术研究中心之一，Mila 发现需要开发一套定制的基准测试套件，以满足其由超过 1,000 名研究人员组成的群体的多样化需求。本报告介绍了由此产生的基准测试套件 Milabench。其设计基于涵盖 867 篇论文的广泛文献综述，以及对 Mila 研究人员进行的调查。这一严谨的过程促成了 26 个专为采购评估定制的主要基准测试的选择，以及 16 个用于深入分析的可选基准测试。我们详细介绍了设计方法论、基准测试套件的结构，并使用来自 NVIDIA、AMD 和 Intel 的 GPU 进行了性能评估。Milabench 套件是开源的，可在 github.com/mila-iqga/milabench 获取。
引用
@article{arxiv.2411.11940,
title = {Introducing Milabench: Benchmarking Accelerators for AI},
author = {Pierre Delaunay and Xavier Bouthillier and Olivier Breuleux and Satya Ortiz-Gagné and Olexa Bilaniuk and Fabrice Normandin and Arnaud Bergeron and Bruno Carrez and Guillaume Alain and Soline Blanc and Frédéric Osterrath and Joseph Viviano and Roger Creus-Castanyer Darshan Patil and Rabiul Awal and Le Zhang},
journal= {arXiv preprint arXiv:2411.11940},
year = {2024}
}