探索虚拟化对深度学习应用可用性的影响
分布式、并行与集群计算
2021-12-21 v1 人工智能
性能
摘要
基于深度学习（DL）的应用正变得日益流行并以空前速度发展。尽管许多研究工作致力于增强深度神经网络（DNN）——DL 应用的核心——这些应用在云与边缘系统中的实际部署挑战及其对应用可用性的影响尚未得到充分研究。尤其是，云与边缘所提供的不同虚拟化平台的部署对 DL 应用可用性（就端到端（E2E）推理时间而言）的影响仍是一个开放问题。重要的是，资源弹性（通过扩容）、CPU 绑核与处理器类型（CPU 对 GPU）配置已显示对虚拟化开销有影响。据此，本研究的目标是考察这些可能具决定性的部署选项对 E2E 性能亦即 DL 应用可用性的影响。为此，我们测量了四种流行执行平台（即裸金属、虚拟机（VM）、容器以及 VM 中容器）在改变处理器配置（扩容、CPU 绑核）与处理器类型时，对四类 DL 应用 E2E 推理时间的影响。本研究揭示了一系列有趣且有时反直觉的发现，可被云解决方案架构师用作在各种系统中高效部署 DL 应用的最佳实践。显著发现是，解决方案架构师必须意识到 DL 应用特征，特别是其前处理与后处理需求，方能最优地选择并配置执行平台、确定 GPU 的使用并决定高效的扩容范围。
引用
@article{arxiv.2112.09780,
title = {Exploring the Impact of Virtualization on the Usability of the Deep Learning Applications},
author = {Davood G. Samani and Mohsen Amini Salehi},
journal= {arXiv preprint arXiv:2112.09780},
year = {2021}
}