TPU、GPU与CPU平台在深度学习上的基准测试
机器学习
2019-10-23 v4 性能
机器学习
摘要
训练深度学习模型计算密集，且业界存在朝向硬件专用化以提升性能的趋势。为系统性地基准测试深度学习平台，我们引入ParaDnn，一个为深度学习生成的参数化基准测试套件，可生成全连接（FC）、卷积（CNN）与循环（RNN）神经网络的端到端模型。连同六个真实模型，我们对Google Cloud TPU v2/v3、NVIDIA V100 GPU与Intel Skylake CPU平台进行了基准测试。我们深入剖析TPU架构，揭示其瓶颈，并强调对未来专用系统设计的宝贵经验。我们还对平台进行了详尽比较，发现每种平台对某些类型模型具有独特优势。最后，我们量化了专用软件栈为TPU与GPU平台带来的快速性能提升。
引用
@article{arxiv.1907.10701,
title = {Benchmarking TPU, GPU, and CPU Platforms for Deep Learning},
author = {Yu Emma Wang and Gu-Yeon Wei and David Brooks},
journal= {arXiv preprint arXiv:1907.10701},
year = {2019}
}