边缘计算系统中深度学习服务的最优精度-时间权衡
分布式、并行与集群计算
2020-11-18 v1 网络与互联网体系结构
摘要
随着对深度学习任务等计算密集型服务需求的增长，边缘计算（EC）系统等新兴分布式计算平台正变得日益流行。与传统云系统相比，边缘计算系统在降低时延方面已显示出良好前景。然而，其有限的处理能力在计算密集型服务（如基于深度学习的服务）中引入了潜在时延降低与所达精度之间的权衡。本文关注于在三层 EC 平台中运行深度学习服务时寻找最优精度-时间权衡，其中具备多种不同精度水平的深度学习模型可用。具体而言，我们将该问题建模为整数线性规划，通过最优任务调度决策来最大化用户在精度-时间权衡上的整体满意度。我们证明该问题为 NP-hard，随后给出一种称为 GUS 的多项式常数时间贪心算法，其被证明可取得近最优结果。最后，通过数值实验并与一组启发式方法比较来验证我们的算法解，我们将其部署于为实现真实世界结果而搭建的测试平台上。数值分析与真实部署结果均表明，GUS 在满意用户平均百分比上至少以 50% 的倍率优于基线启发式方法。
引用
@article{arxiv.2011.08381,
title = {Optimal Accuracy-Time Trade-off for Deep Learning Services in Edge Computing Systems},
author = {Minoo Hosseinzadeh and Andrew Wachal and Hana Khamfroush and Daniel E. Lucani},
journal= {arXiv preprint arXiv:2011.08381},
year = {2020}
}