基于 HorovodRunner 的 Spark 集群上卷积神经网络与图卷积网络的基准测试
分布式、并行与集群计算
2020-05-13 v1 机器学习
摘要
分布式深度学习任务快速迭代的自由度，对小型公司从科技巨头处获取竞争优势与市场份額至关重要。HorovodRunner 将这一过程带到了相对易得的 spark 集群上。然而，迄今尚无针对 HorovodRunner 本身的基准测试，亦无专门针对图卷积网络（以下称 GCN）的测试，且对其前身 Horovod（需定制 GPU 集群）的可扩展性基准测试极为有限。我们首次表明，Databricks 的 HorovodRunner 在基于卷积神经网络（以下称 CNN）的任务上于 GPU 与 CPU 集群均实现了扩展性效率的显著提升，但原始 GCN 任务则未实现。我们还首次在 HorovodRunner 中实现了 Rectified Adam 优化器。
引用
@article{arxiv.2005.05510,
title = {Benchmark Tests of Convolutional Neural Network and Graph Convolutional Network on HorovodRunner Enabled Spark Clusters},
author = {Jing Pan and Wendao Liu and Jing Zhou},
journal= {arXiv preprint arXiv:2005.05510},
year = {2020}
}
备注
AAAI 2020 W8 Deep Learning on Graphs: Methodologies and Applications Accepted Poster Number 23