DARIS：面向 GPU 的实时 DNN 推理的超订阅时空调度器
分布式、并行与集群计算
2025-04-15 v1
摘要
深度神经网络 (DNN) 的广泛应用受到高计算需求的限制，尤其在受限环境中更为明显。虽然 GPU 作为有效的加速器，但常面临 underutilization（资源 underutilization）的问题，且依赖粗粒度调度。本文引入 DARIS，一种基于优先级的实时 DNN 调度器，利用 NVIDIA 的 MPS 和 CUDA 流实现空间共享，采用基于同步的分阶段方法实现时间分区。具体而言，DARIS 改善了 GPU 利用率，并通过超订阅计算资源来独特地分析 GPU 的并发行为。此外，DARIS 支持在 GPU 分区之间进行零延迟 DNN 迁移。实验表明，DARIS 在不使用批处理的情况下，相较于批处理和最新调度器分别提高了 15% 和 11.5% 的吞吐量。所有高优先级任务均满足截止时间，低优先级任务的截止时间未达率低于 2%。高优先级任务的响应时间比低优先级任务快 33%。
引用
@article{arxiv.2504.08795,
title = {DARIS: An Oversubscribed Spatio-Temporal Scheduler for Real-Time DNN Inference on GPUs},
author = {Amir Fakhim Babaei and Thidapat Chantem},
journal= {arXiv preprint arXiv:2504.08795},
year = {2025}
}