用于降水临近预报的分布式深度学习
机器学习
2021-09-08 v1 机器学习
摘要
深度神经网络的有效训练需要海量数据与计算。因此，训练需要大型数据集的复杂模型所需时间更长，这会严重限制模型研发及所有可用数据的利用。在本文中，该问题在降水临近预报背景下进行研究，该术语用于描述降水及其他危险天气的极高细节短期预报。卷积神经网络（CNNs）是一类强大的模型，非常适用于此任务；然而，高分辨率输入气象影像结合处理该数据所需的模型复杂性，使得训练 CNN 解决此任务十分耗时。为解决该问题，我们实现了一种数据并行模型，其中 CNN 在多个计算节点上复制，训练批次分布到多个节点。通过利用多个 GPU，我们展示了给定临近预报模型架构的训练时间可从 59 小时缩短至仅略超过 1 小时。这将允许更快迭代以改进 CNN 架构，并将促进临近预报领域的未来进展。
引用
@article{arxiv.1908.10964,
title = {Distributed Deep Learning for Precipitation Nowcasting},
author = {Siddharth Samsi and Christopher J. Mattioli and Mark S. Veillette},
journal= {arXiv preprint arXiv:1908.10964},
year = {2021}
}
备注
IEEE HPEC 2019