在安全的的大规模HPC生产系统上以容器部署拍浮点规模的科学AI网络
分布式、并行与集群计算
2020-05-22 v1
摘要
对计算能力的需求不断增长，以训练复杂的人工智能（AI）与机器学习（ML）模型来解决大型科学问题。需要高性能计算（HPC）资源来跨数万计算节点高效地计算并扩展复杂模型。在本文中，我们讨论在大规模安全HPC系统上部署机器学习框架的相关问题，以及我们如何成功在安全的的大规模HPC生产系统上部署标准机器学习框架，以拍浮点性能训练复杂的三个三维卷积GAN（3DGAN）。3DGAN是高能物理领域的一个例子，旨在模拟各种HPC系统上粒子探测器内次级粒子簇射产生的能量模式。
引用
@article{arxiv.2005.10676,
title = {Deploying Scientific AI Networks at Petaflop Scale on Secure Large Scale HPC Production Systems with Containers},
author = {David Brayford and Sofia Vallercorsa},
journal= {arXiv preprint arXiv:2005.10676},
year = {2020}
}
备注
The Platform for Advanced Scientific Computing (PASC) Conference 2020. arXiv admin note: text overlap with arXiv:1905.10090