利用图编译器与容器优化 AI 训练部署
分布式、并行与集群计算
2020-09-18 v2 人工智能
性能
摘要
基于深度神经网络（DNN）或深度学习（DL）的人工智能（AI）应用因在图像分析和语音识别等问题上的成功而变得流行。训练 DNN 的计算量很大，高性能计算（HPC）一直是 AI 增长的关键驱动力。虚拟化和容器技术促进了云与 HPC 基础设施的融合。这些具有异构硬件的基础设施增加了部署和优化 AI 训练工作负载的复杂性。HPC 或云中的 AI 训练部署可以通过目标专用库、图编译器以及改善数据移动或 IO 来优化。图编译器旨在通过为目标硬件/后端生成优化代码来优化 DNN 图的执行。作为 SODALITE（一个 Horizon 2020 项目）的一部分，开发了 MODAK 工具以优化软件定义基础设施中的应用部署。利用数据科学家的输入和性能建模，MODAK 将最优应用参数映射到目标基础设施并构建优化容器。在本文中，我们介绍了 MODAK，并回顾了用于 AI 的容器技术和图编译器。我们展示了使用图编译器和 Singularity 容器对 AI 训练部署的优化。使用 MNIST-CNN 和 ResNet50 训练工作负载的评估表明，定制构建的优化容器优于 DockerHub 的官方镜像。我们还发现，图编译器的性能取决于目标硬件和神经网络的复杂性。
引用
@article{arxiv.2008.11675,
title = {Optimising AI Training Deployments using Graph Compilers and Containers},
author = {Nina Mujkanovic and Karthee Sivalingam and Alfio Lazzaro},
journal= {arXiv preprint arXiv:2008.11675},
year = {2020}
}
备注
HPEC IEEE, 6 pages, 5 figues, 1 table