SPINN：设备与云端神经网络的协同渐进式推理
机器学习
2020-08-25 v2 计算机视觉与模式识别
分布式、并行与集群计算
机器学习
摘要
尽管卷积神经网络（CNNs）在移动应用中的使用激增，但由于现代CNNs过高的计算需求以及部署设备日益多样化，在移动端统一维持高性能推理一直难以实现。一种流行的替代方案是将CNN处理卸载到强大的基于云的服务器。然而，由于依赖云产生输出，新兴的关键任务和高移动性应用（如无人机避障或交互式应用）可能受到动态连接条件和云不确定可用性的影响。在本文中，我们提出SPINN，一种采用设备-云协同计算并结合渐进式推理方法的分布式推理系统，以在不同设置下提供快速且鲁棒的CNN推理。所提系统引入了一种新颖的调度器，在运行时共同优化提前退出策略和CNN分割，以适应动态条件并满足用户定义的服务级别要求。定量评估表明，在不同网络条件下，SPINN在已实现吞吐量方面优于其最先进的协同推理对手多达2倍，在延迟约束下将服务器成本降低多达6.8倍并将精度提高20.7%，同时在不确定连接条件下提供鲁棒操作，并与以云为中心的执行相比显著节省能耗。
引用
@article{arxiv.2008.06402,
title = {SPINN: Synergistic Progressive Inference of Neural Networks over Device and Cloud},
author = {Stefanos Laskaridis and Stylianos I. Venieris and Mario Almeida and Ilias Leontiadis and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2008.06402},
year = {2020}
}
备注
Accepted at the 26th Annual International Conference on Mobile Computing and Networking (MobiCom), 2020