在百亿亿次规模上将深度学习集成到领域科学中
机器学习
2020-11-24 v1
摘要
本文介绍了当前设计深度学习人工智能（AI）并将其与传统高性能计算（HPC）模拟集成所面临的一些挑战。我们评估了现有软件包在大规模 HPC 系统上高效运行深度学习模型与应用的能力，识别挑战，并为当前大规模异构系统及即将到来的百亿亿次系统提出新的异步并行与优化技术。这些进展，连同现有的 HPC AI 软件能力，已被集成到 MagmaDNN——一个开源 HPC 深度学习框架中。许多深度学习框架面向数据科学家，在将质量集成到现有 HPC 工作流方面存在不足。本文讨论了 HPC 深度学习框架的必要性，以及这些需求如何（如 MagmaDNN 中）通过与传统 HPC 库（如 MAGMA 及其模块化内存管理、MPI、CuBLAS、CuDNN、MKL 和 HIP）的深度集成来提供。进展也通过缩减与混合精度的算法增强以及异步优化方法的使用加以说明。最后，我们给出了用 AI 增强 ORNL 与 UTK 传统计算与数据密集型应用的示例与潜在方案。这些途径与未来挑战在材料科学、成像与气候应用中得以阐明。
引用
@article{arxiv.2011.11188,
title = {Integrating Deep Learning in Domain Sciences at Exascale},
author = {Rick Archibald and Edmond Chow and Eduardo D'Azevedo and Jack Dongarra and Markus Eisenbach and Rocco Febbo and Florent Lopez and Daniel Nichols and Stanimire Tomov and Kwai Wong and Junqi Yin},
journal= {arXiv preprint arXiv:2011.11188},
year = {2020}
}