多模型实现的边缘深度学习服务的服务质量感知放置
网络与互联网体系结构
2021-05-03 v1
摘要
移动边缘计算将计算密集型服务推近用户，以借助物理邻近性降低时延。这促使许多人考虑在边缘部署深度学习模型——即通常所称的边缘智能（EI）。EI 服务可拥有多种提供不同 QoS 的模型实现。例如，某一模型推理速度快于另一模型（从而降低时延），但在评估时准确率较低。本文研究 EI 服务的联合服务放置与模型调度问题，目标是最大化终端用户的服务质量（QoS），其中 EI 服务具有多种实现来服务用户请求，每种实现具有不同代价与 QoS 收益。我们将该问题建模为整数线性规划并证明其 NP 难。随后我们证明该目标等价于最大化一个单调递增的次模集合函数，因此可用贪心算法求解并保持 (1-1/e) 的近似保证。接着我们提出两种贪心算法：一种在理论上保证该近似比，另一种在经验上以更高效率匹配其性能。最后，我们在合成与真实场景中与最优解及若干基线充分评估所提算法在放置与调度决策上的表现。在真实案例中，我们使用 ImageNet 2012 数据集上的真实机器学习模型处理请求。数值实验经验表明，我们更高效的贪心算法平均能以 0.904 的近似比逼近最优解，而次优基线平均仅达 0.607。
引用
@article{arxiv.2104.15094,
title = {QoS-Aware Placement of Deep Learning Services on the Edge with Multiple Service Implementations},
author = {Nathaniel Hudson and Hana Khamfroush and Daniel E. Lucani},
journal= {arXiv preprint arXiv:2104.15094},
year = {2021}
}
备注
Accepted for publication through the 30th International Conference on Computer Communications and Networks (ICCCN 2021). This manuscript contains a complete proof of a theorem referenced in the ICCCN manuscript