云中基于 Docker 容器的深度学习推理差异化体验质量调度
分布式、并行与集群计算
2022-09-26 v2 性能
摘要
随着大数据驱动应用的普及，例如智能手机上的人脸识别与 Google Ads 的定制推荐，我们正走向比以往更智能的生活方式。各类神经网络驱动的模型运行于其智能后端，以对用户作出快速响应。支撑这些模型需要大量云端计算资源，如 CPU 与 GPU。云提供商按客户占用资源量收费。客户必须在预算与体验质量（如响应时间）间权衡。预算取决于个体业务所有者，而所需的体验质量（QoE）依赖于不同应用的使用场景。例如，自动驾驶车辆需要实时响应，而解锁智能手机可容忍延迟。然而，云提供商未能向客户提供基于 QoE 的选项。本文提出 DQoES，一种面向深度学习推理的差异化体验质量调度器。DQoES 接受客户对目标 QoE 的设定，并动态调整资源以逼近其目标。通过广泛的云端实验，DQoES 表明其能针对多种 QoE 调度多个并发作业，与现有系统相比最多使满意模型数提升 8 倍。
引用
@article{arxiv.2010.12728,
title = {Differentiate Quality of Experience Scheduling for Deep Learning Inferences with Docker Containers in the Cloud},
author = {Ying Mao and Weifeng Yan and Yun Song and Yue Zeng and Ming Chen and Long Cheng and Qingzhi Liu},
journal= {arXiv preprint arXiv:2010.12728},
year = {2022}
}