基于强化学习的DNN多租户多加速器系统公平且严格的实时调度
硬件体系结构
2024-03-05 v1 分布式、并行与集群计算
机器学习
摘要
本文解决了云服务中服务质量（QoS）管理的关键挑战，重点关注单个租户期望的细微差别以及不同的服务等级指标（SLI）。提出了一种利用深度强化学习的新方法，用于多租户、多加速器云环境中针对租户的QoS管理。所选的SLI（截止时间命中率）允许客户为每个服务请求定制QoS。提出了一种新颖的用于多加速器系统中深度神经网络的在线调度算法，重点是在考虑实时约束的同时，保证按租户、按模型的QoS水平。
引用
@article{arxiv.2403.00766,
title = {Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning},
author = {Enrico Russo and Francesco Giulio Blanco and Maurizio Palesi and Giuseppe Ascia and Davide Patti and Vincenzo Catania},
journal= {arXiv preprint arXiv:2403.00766},
year = {2024}
}