JALAD：面向边云执行的联合精度与延迟感知深度结构解耦
分布式、并行与集群计算
2019-03-05 v1
摘要
近年来，基于深度网络的服务与应用快速增长。一个实际且关键的问题随之出现：如何有效部署深度神经网络模型以使其高效执行。传统的基于云的方法通常在数据中心服务器上运行深度模型，由于大量数据必须从网络边缘传输至数据中心，导致较大延迟。本文提出 JALAD，一种联合精度与延迟感知的执行框架，其将深度神经网络解耦，使一部分在边缘设备运行，另一部分在常规云中运行，而两者之间仅需传输最少量的数据。尽管该思路看似直接，我们面临诸多挑战，包括 i) 如何找到深度结构的最佳划分；ii) 如何在不具备充足算力的边缘设备上部署组件；以及 iii) 如何最小化整体执行延迟。我们针对这些问题的答案是 JALAD 中的一组策略，包括 1) 一种基于归一化的层内数据压缩策略，联合考虑压缩率与模型精度；2) 一种延迟感知的深度解耦策略以最小化整体执行延迟；以及 3) 一种边云结构自适应策略，针对不同网络条件动态改变解耦方式。实验表明，我们的方案能显著降低执行延迟：在确保模型精度损失可控的前提下加速整体推理执行。
引用
@article{arxiv.1812.10027,
title = {JALAD: Joint Accuracy- and Latency-Aware Deep Structure Decoupling for Edge-Cloud Execution},
author = {Hongshan Li and Chenghao Hu and Jingyan Jiang and Zhi Wang and Yonggang Wen and Wenwu Zhu},
journal= {arXiv preprint arXiv:1812.10027},
year = {2019}
}
备注
conference, copyright transfered to IEEE