面向异构嵌入式设备的优先级感知多 DNN 管理器 RankMap
机器学习
2024-11-28 v1 分布式、并行与集群计算
新兴技术
摘要
现代边缘数据中心同时处理多个深度神经网络（DNN），导致工作负载管理方面存在重大挑战。因此，当前的管理系统必须利用新型嵌入系统的架构异构性来高效处理多 DNN 工作负载。本文引入 RankMap，一种为多 DNN 任务在异构嵌入式设备上设计的 priority-aware 管理器。RankMap 通过蒙特卡洛空间探索结合性能估计器来解决多 DNN 映射的广泛解空间。实验结果表明，RankMap 相较于现有方法实现平均吞吐量提升 x3.6，同时在重负载下防止 DNN 饥饿，并使指定 DNN 的优先级提升 x57.5。
引用
@article{arxiv.2411.17867,
title = {RankMap: Priority-Aware Multi-DNN Manager for Heterogeneous Embedded Devices},
author = {Andreas Karatzas and Dimitrios Stamoulis and Iraklis Anagnostopoulos},
journal= {arXiv preprint arXiv:2411.17867},
year = {2024}
}
备注
8 pages, 10 figures, 1 table, Accepted for publication at the 28th Design Automation and Test in Europe Conference (DATE 2025), Best Paper Award Candidate