面向深度神经网络数据分布式训练的网络 fabric 基准测试
分布式、并行与集群计算
2021-09-08 v1 机器学习
性能
摘要
人工智能/机器学习应用需要在大量标注数据上训练复杂模型。训练深度模型的巨大计算需求促使了更快训练新方法的发展。其中一种方法是数据并行方法，即将训练数据分布到多个计算节点上。该方法易于实现，且被大多数常用机器学习框架支持。数据并行方法利用 MPI 在所有节点间通信梯度。本文中，我们考察了使用不同物理硬件互连与网络相关软件原语对实现数据分布式深度学习的影响。我们比较了在以太网和 OmniPath fabric 上使用 GPUDirect 与 NCCL 的效果。我们的结果表明，在共享 HPC 系统中使用基于以太网的网络，对常用深度神经网络架构或诸如计算流体力学等传统 HPC 应用的训练时间没有显著影响。
引用
@article{arxiv.2008.08057,
title = {Benchmarking network fabrics for data distributed training of deep neural networks},
author = {Siddharth Samsi and Andrew Prout and Michael Jones and Andrew Kirby and Bill Arcand and Bill Bergeron and David Bestor and Chansup Byun and Vijay Gadepally and Michael Houle and Matthew Hubbell and Anna Klein and Peter Michaleas and Lauren Milechin and Julie Mullen and Antonio Rosa and Charles Yee and Albert Reuther and Jeremy Kepner},
journal= {arXiv preprint arXiv:2008.08057},
year = {2021}
}
备注
Accepted for publication at IEEE HPEC 2020