面向高性能与可复现深度学习的模块化基准测试基础设施
分布式、并行与集群计算
2019-06-14 v2 机器学习
性能
摘要
我们引入Deep500：首个可定制的基准测试基础设施，支持对大量深度学习框架、算法、库和技术进行公平比较。Deep500背后的关键思想是其模块化设计，将深度学习分解为四个不同层次：算子、网络处理、训练与分布式训练。我们的评估表明Deep500是可定制的（支持组合与基准测试不同深度学习代码）、公平的（使用精心挑选的指标）。此外，Deep500是快速的（产生可忽略的开销）、可验证的（提供分析正确性的基础设施）且可复现的。最后，作为首个分布式且可复现的深度学习基准测试系统，Deep500提供软件基础设施以利用最强大的超级计算机处理极致规模工作负载。
引用
@article{arxiv.1901.10183,
title = {A Modular Benchmarking Infrastructure for High-Performance and Reproducible Deep Learning},
author = {Tal Ben-Nun and Maciej Besta and Simon Huber and Alexandros Nikolaos Ziogas and Daniel Peter and Torsten Hoefler},
journal= {arXiv preprint arXiv:1901.10183},
year = {2019}
}
备注
Accepted to IPDPS 2019