现代异构边缘GPU上AI模型的调度技术——批判性综述
分布式、并行与集群计算
2025-06-03 v1 硬件体系结构
摘要
近年来，在AI模型不断增长的需求驱动下，专用边缘计算设备的发展显著增加。这些设备（如NVIDIA Jetson系列）必须高效处理日益增加的数据处理和存储需求。然而，尽管取得了这些进展，仍然缺乏能够自动化深度神经网络(DNN)最优执行的框架。因此，人们已经致力于创建调度器，这些调度器能够管理复杂的数据处理需求，同时确保这些设备内所有可用加速器（包括CPU、GPU、深度学习加速器(DLA)、可编程视觉加速器(PVA)和视频图像合成器(VIC)）的高效利用。此类调度器将最大化边缘计算系统的性能，这在资源受限的环境中至关重要。本文旨在全面回顾在NVIDIA Jetson设备上实现的各种DNN调度器。它考察了它们的方法论、性能以及在应对现代AI工作负载需求方面的有效性。通过分析这些调度器，本综述突出了该领域研究的现状，并确定了未来的研究和开发领域，以进一步增强边缘计算设备的能力。
关键词
引用
@article{arxiv.2506.01377,
title = {Scheduling Techniques of AI Models on Modern Heterogeneous Edge GPU -- A Critical Review},
author = {Ashiyana Abdul Majeed and Mahmoud Meribout},
journal= {arXiv preprint arXiv:2506.01377},
year = {2025}
}
备注
12 pages. 13 figures. This work has been submitted to IEEE for possible publication