面向气候分析的百亿亿次深度学习
分布式、并行与集群计算
2018-10-05 v1
摘要
我们使用 Tiramisu 和 DeepLabv3+ 神经网络的变体提取极端天气模式的像素级掩码。我们描述了在 Piz Daint 和 Summit 系统上高效扩展深度学习所需的软件框架、输入流水线以及网络训练算法的改进。Tiramisu 网络扩展到 5300 个 P100 GPU，持续吞吐量为 21.0 PF/s，并行效率为 79.0%。DeepLabv3+ 在单精度下扩展到最多 27360 个 V100 GPU，持续吞吐量为 325.8 PF/s，并行效率为 90.7%。通过利用 FP16 Tensor Cores，DeepLabv3+ 网络的半精度版本分别实现了 1.13 EF/s 的峰值吞吐量和 999.0 PF/s 的持续吞吐量。
引用
@article{arxiv.1810.01993,
title = {Exascale Deep Learning for Climate Analytics},
author = {Thorsten Kurth and Sean Treichler and Joshua Romero and Mayur Mudigonda and Nathan Luehr and Everett Phillips and Ankur Mahesh and Michael Matheson and Jack Deslippe and Massimiliano Fatica and Prabhat and Michael Houston},
journal= {arXiv preprint arXiv:1810.01993},
year = {2018}
}
备注
12 pages, 5 tables, 4, figures, Super Computing Conference November 11-16, 2018, Dallas, TX, USA