Orloj：可预测地服务不可预测的 DNN
分布式、并行与集群计算
2022-09-02 v1
摘要
现有的 DNN 服务方案可以通过对到达请求进行精心调度来提供严格的延迟 SLO（服务等级目标），同时保持高吞吐，这些请求的执行时间被假定为高度可预测且与数据无关。然而，对新兴动态 DNN（例如流行的自然语言处理（NLP）模型和跳过层的计算机视觉（CV）模型）的推理请求是数据相关的。当使用现有方案服务时，它们表现出较差的性能，因为根据输入的不同，其请求执行时间存在很大方差——批次中最长的请求拉长了较小请求的执行时间，在缺乏精心批处理的情况下导致 SLO 未达标。在本文中，我们提出 Orloj，一个动态 DNN 服务系统，它利用期望请求执行时间的经验分布来捕获动态 DNN 中的这种方差，然后在不知道请求精确执行时间的情况下高效地对其进行批处理与调度。在严格的 SLO 约束下，Orloj 在高方差动态 DNN 负载下以 51–80% 的完成率显著优于最先进的服务方案，在更宽松的 SLO 设置下超过 100%。对于研究充分的静态 DNN 负载，Orloj 保持与最先进方案相当的性能。
引用
@article{arxiv.2209.00159,
title = {Orloj: Predictably Serving Unpredictable DNNs},
author = {Peifeng Yu and Yuqing Qiu and Xin Jin and Mosharaf Chowdhury},
journal= {arXiv preprint arXiv:2209.00159},
year = {2022}
}