BCEdge：边缘平台上基于自适应批处理的 SLO 感知 DNN 推理服务
机器学习
2023-05-03 v1 分布式、并行与集群计算
操作系统
摘要
随着深度神经网络（DNNs）被应用于广泛的边缘智能应用，边缘推理平台同时具备高吞吐与低延迟至关重要。此类承载多 DNN 模型的边缘平台为调度器设计带来新挑战。首先，各请求可能具有不同的服务水平目标（SLOs）以提升服务质量（QoS）。其次，边缘平台应能有效调度多个异构 DNN 模型以提升系统利用率。为达成这两目标，本文提出 BCEdge，一种新颖的基于学习的调度框架，其在边缘平台上对 DNN 推理服务采取自适应批处理与并发执行。我们定义效用函数以评估吞吐与延迟间的权衡。BCEdge 中的调度器利用基于最大熵的深度强化学习（DRL）通过以下方式最大化效用：1）协同优化批大小与 2）自动确定并发模型数量。我们在不同边缘平台上实现的原型显示，相较最先进方案，所提 BCEdge 在满足 SLOs 的同时平均效用提升达 37.6%。
引用
@article{arxiv.2305.01519,
title = {BCEdge: SLO-Aware DNN Inference Services with Adaptive Batching on Edge Platforms},
author = {Ziyang Zhang and Huan Li and Yang Zhao and Changyao Lin and Jie Liu},
journal= {arXiv preprint arXiv:2305.01519},
year = {2023}
}