OmniBoost：多 DNN 工作负载下异构嵌入式设备的吞吐提升
机器学习
2023-07-10 v1 性能
摘要
现代深度神经网络（DNN）展现出卓越的效率与精度特性。这引入了由多个 DNN 应用构成的应用工作负载，带来关于工作负载分发的新挑战。配备多样加速器的新型嵌入式系统呈现架构异构性，当前运行时控制器无法充分利用。为在多 DNN 工作负载下实现高吞吐，此类控制器须探索数十万可能解以利用底层异构性。本文提出 OmniBoost，一种面向异构嵌入式设备的轻量可扩展多 DNN 管理器。我们利用随机空间探索并结合高准确度性能估计器，相较其他最先进方法获得平均 x4.6 吞吐提升。评估在 HiKey970 开发板上进行。
引用
@article{arxiv.2307.03290,
title = {OmniBoost: Boosting Throughput of Heterogeneous Embedded Devices under Multi-DNN Workload},
author = {Andreas Karatzas and Iraklis Anagnostopoulos},
journal= {arXiv preprint arXiv:2307.03290},
year = {2023}
}