设计用于评估 TensorFlow 中 gRPC 的微基准测试套件：早期经验
分布式、并行与集群计算
2018-04-05 v1
摘要
远程过程调用（RPC）是许多现代分布式系统的支柱。Google 的 gRPC 是社区中最流行的开源 RPC 框架之一。gRPC 是 Google 深度学习框架 TensorFlow 的主要通信引擎。TensorFlow 主要使用 gRPC 在不同进程之间通信张量和执行管理任务。训练阶段的张量更新是通信密集型的，因此 TensorFlow 的性能严重依赖于底层网络和通信引擎的效率。在 TensorFlow 上训练深度学习模型可能需要大量时间，从几分钟到几小时，甚至几天不等。因此系统研究人员需要投入大量时间来理解通信对整体性能的影响。显然，系统研究人员缺乏可用的基准测试。因此，我们提出 TF-gRPC-Bench 微基准测试套件，使系统研究人员能够快速理解底层网络和通信运行时对深度学习工作负载的影响。为此，我们首先通过训练流行的深度学习模型来分析 TensorFlow 在 gRPC 上的工作负载特征。然后，我们提出三个考虑这些工作负载特征的微基准测试。此外，我们在以太网、IPoIB 和 RDMA 上的不同集群上使用 TF-gRPC-Bench 微基准测试套件对 gRPC 进行了全面评估，并给出了结果。
引用
@article{arxiv.1804.01138,
title = {Designing a Micro-Benchmark Suite to Evaluate gRPC for TensorFlow: Early Experiences},
author = {Rajarshi Biswas and Xiaoyi Lu and Dhabaleswar K. Panda},
journal= {arXiv preprint arXiv:1804.01138},
year = {2018}
}
备注
9 Pages, 14 Figures, This paper was presented at BPOE - 9 @ ASPLOS 2018