面向多用户端-边-云网络推理编排的在线学习
机器学习
2022-02-23 v1 人工智能
摘要
基于深度学习的智能服务已在包括智慧城市和医疗在内的信息物理应用中变得普遍。在终端用户附近部署基于深度学习的智能可增强隐私保护、响应能力和可靠性。为满足计算密集型深度学习服务的延迟和能耗需求,必须对资源受限的终端设备进行精细管理。用于深度学习的端-边-云协同计算提供了一系列性能和效率,可通过计算卸载满足应用需求。卸载计算的决策是一个通信-计算协同优化问题,随系统参数(如网络状况)和工作负载特征(如输入)而变化。另一方面,深度学习模型优化提供了延迟与模型精度之间的另一种权衡来源。需要一个考虑此类计算-通信问题的端到端决策方案,以协同地为深度学习服务找到最优卸载策略和模型。为此,我们提出了一种基于强化学习的计算卸载方案,该方案考虑深度学习模型选择技术以学习最优卸载策略,从而在提供足够精度的同时最小化响应时间。我们展示了该方案在端-边-云系统中边缘设备上的有效性,并使用多个 AWS 和 ARM 核心配置通过真实环境实现进行了评估。与最先进方法相比,我们的方案平均响应时间加速 35%,精度降低小于 0.9%,展示了我们的在线学习框架在端-边-云系统中编排 DL 推理的前景。
引用
@article{arxiv.2202.10541,
title = {Online Learning for Orchestration of Inference in Multi-User End-Edge-Cloud Networks},
author = {Sina Shahhosseini and Dongjoo Seo and Anil Kanduri and Tianyi Hu and Sung-soo Lim and Bryan Donyanavard and Amir M. Rahmani and Nikil Dutt},
journal= {arXiv preprint arXiv:2202.10541},
year = {2022}
}