Miriam：在边缘GPU上利用弹性核实现实时多DNN推理
分布式、并行与集群计算
2023-07-11 v1 人工智能
摘要
自动驾驶和增强现实等许多应用需要并发运行多个深度神经网络（DNN），这些网络具有不同级别的实时性能需求。然而，在边缘GPU上协调具有不同关键级别的多个DNN任务仍属研究甚少领域。与服务器级GPU不同，边缘GPU资源受限且缺乏用于避免资源竞争的硬件级资源管理机制。因此，我们提出Miriam，一种用于边缘GPU上多DNN推理的竞争感知任务协调框架。Miriam整合了两个主要组件：弹性核生成器和运行时动态核协调器，以支持混合关键性DNN推理。为评估Miriam，我们基于CUDA构建了具有多样化代表性DNN工作负载的新DNN推理基准。在两个边缘GPU平台上的实验表明，与最先进基线相比，Miriam在关键任务仅产生低于10%延迟开销的同时，将系统吞吐量提高了92%。
引用
@article{arxiv.2307.04339,
title = {Miriam: Exploiting Elastic Kernels for Real-time Multi-DNN Inference on Edge GPU},
author = {Zhihe Zhao and Neiwen Ling and Nan Guan and Guoliang Xing},
journal= {arXiv preprint arXiv:2307.04339},
year = {2023}
}