选择合适的边缘设备：面向GPGPU上基于CUDA的CNN的功耗与性能估计
机器学习
2021-02-05 v1 硬件体系结构
性能
摘要
机器学习(ML)作为一种强大技术的出现，一直在帮助几乎所有商业领域提高运营效率或开发新的价值主张。除了部署和维护ML模型的挑战外，为运行这些模型（例如具有海量计算过程的CNN）挑选合适的边缘设备（例如GPGPU）是当今组织面临的最紧迫挑战之一。由于租用（在云端）或购买边缘设备的成本与最终产品或服务的成本直接相连，选择最高效的设备至关重要。然而，这一决策需要对运行在边缘设备上的ML模型的性能与功耗有深入了解，而这些必须在ML工作流的早期阶段确定。在本文中，我们提出了一种新颖的基于ML的方法，为ML工程师提供GPGPU上基于CUDA的CNN的功耗与性能的早期估计。所提方法使ML工程师能够在开发早期为给定CNN模型挑选最高效的GPGPU。
引用
@article{arxiv.2102.02645,
title = {Pick the Right Edge Device: Towards Power and Performance Estimation of CUDA-based CNNs on GPGPUs},
author = {Christopher A. Metz and Mehran Goli and Rolf Drechsler},
journal= {arXiv preprint arXiv:2102.02645},
year = {2021}
}
备注
Presented at DATE Friday Workshop on System-level Design Methods for Deep Learning on Heterogeneous Architectures (SLOHA 2021) (arXiv:2102.00818)