基于分布式训练加速领域感知深度学习模型
机器学习
2023-01-30 v1 分布式、并行与集群计算
性能
摘要
近期数据生成技术的进展导致地理时空数据的爆炸式增长。在水文学、生态学和交通等领域，借助深度学习技术解释时空相互作用的复杂潜在模式因而成为当务之急。然而，不加领域知识地应用深度学习技术往往提供次优的预测性能。其次，在大规模数据上训练此类模型需要大量计算资源。为消除这些挑战，我们提出了一种新颖的分布式领域感知时空网络，它利用领域知识以提升模型性能。我们的网络由像素贡献块、分布式多头多通道卷积（CNN）空间块和循环时间块组成。我们选择水文学中的洪水预测作为用例来测试所提方法。从我们的分析来看，该网络有效预测流域出口流量测量的高峰值，最高实现 4.1 倍加速且预测性能提升高达 93%。我们的方法实现了 12.6 倍总体加速并将平均预测性能提高 16%。我们在美国北部某州的 23 个流域数据集上进行了大量实验并给出发现。
引用
@article{arxiv.2301.11787,
title = {Accelerating Domain-aware Deep Learning Models with Distributed Training},
author = {Aishwarya Sarkar and Chaoqun Lu and Ali Jannesari},
journal= {arXiv preprint arXiv:2301.11787},
year = {2023}
}
备注
Accepted for Workshop on Multi-scale, Multi-physic and Coupled Problems on Highly Parallel Systems, HPC Asia 2023, 27 February - 2 March 2023, Singapore