VELTAIR：通过自适应编译与调度实现高性能多租户深度学习服务
分布式、并行与集群计算
2022-01-19 v1
摘要
深度学习（DL）模型已在许多应用领域取得巨大成功。因此，许多工业公司如 Google 和 Facebook 已认识到多租户 DL 服务的重要性。尽管多租户服务在传统工作负载中已被研究，但在深度学习服务上，尤其在通用硬件上，尚未被深入研究。本工作中，我们从调度粒度与代码生成角度系统分析了在通用 CPU 架构上提供多租户深度学习服务的机遇与挑战。我们提出一种自适应粒度调度方案，既保证资源使用效率又降低调度冲突率。我们还提出一种自适应编译策略，借此可动态且智能地选取具有适当独占与共享资源使用的程序，以减少整体干扰引起的性能损失。相较于现有工作，我们的设计可在相同 QoS 目标下服务更多请求（例如，轻、中、重负载分别 +71%、+62%、+45%），并将平均查询延迟降低 50%。
引用
@article{arxiv.2201.06212,
title = {VELTAIR: Towards High-Performance Multi-tenant Deep Learning Services via Adaptive Compilation and Scheduling},
author = {Zihan Liu and Jingwen Leng and Zhihui Zhang and Quan Chen and Chao Li and Minyi Guo},
journal= {arXiv preprint arXiv:2201.06212},
year = {2022}
}
备注
To be published in ASPLOS 2022