前沿深度学习软件工具基准测试
分布式、并行与集群计算
2017-02-20 v7 机器学习
摘要
深度学习已被证明是一种适用于多种任务的成功机器学习方法，其普及催生了众多开源深度学习软件工具。训练深度网络通常是一个非常耗时的过程。为应对深度学习中的计算挑战，许多工具利用多核 CPU 和多核 GPU 等硬件特性来缩短训练时间。然而，不同工具在不同硬件平台上训练不同类型的深度网络时表现出不同的特性和运行性能，这使得终端用户难以选择合适的软硬件组合。本文旨在对包括 Caffe、CNTK、MXNet、TensorFlow 和 Torch 在内的前沿 GPU 加速深度学习软件工具进行比较研究。我们首先在两个 CPU 平台和三个 GPU 平台上，使用三种流行的神经网络类型基准测试了这些工具的运行性能。随后，我们在多 GPU 环境下基准测试了一些分布式版本。我们的贡献有两方面：首先，对于深度学习工具的终端用户，我们的基准测试结果可作为选择合适硬件平台和软件工具的指南；其次，对于深度学习工具的软件开发人员，我们的深入分析指出了进一步优化运行性能的可能方向。
引用
@article{arxiv.1608.07249,
title = {Benchmarking State-of-the-Art Deep Learning Software Tools},
author = {Shaohuai Shi and Qiang Wang and Pengfei Xu and Xiaowen Chu},
journal= {arXiv preprint arXiv:1608.07249},
year = {2017}
}
备注
Revision history: 1. Revise ResNet-50 configuration in MXNet. 2. Add faster implementation of ResNet-56 in TensorFlow with multiple GPUs