面向协同智能的深度学习架构设计
分布式、并行与集群计算
2019-02-04 v1
摘要
现代移动设备配备了图形处理单元（GPU）等高性能硬件资源，使端侧智能服务更为可行。即便近来，专用硅片如神经引擎也正被用于移动设备。然而，大多数移动设备仍无法使用极深模型进行实时推理。当今智能应用 associated 的深度模型计算通常仅在云端执行。这种纯云方法需要将大量原始数据通过移动无线网络上传至云，并给云服务器带来可观的计算与通信负载。近期研究表明，通过在移动设备与云之间分割工作负载，可显著降低移动应用中深度神经网络的延迟与能耗。在该被称为协同智能的方法中，移动设备上计算的中间特征被卸载至云而非网络的原始输入数据，从而减少了需发送至云的数据大小。本文中，我们设计了一种新的协同智能友好架构，引入一个负责更大程度缩减需卸载至云的特征数据大小的单元，该单元置于深度模型的某一选定层之后。我们所提方法在不同无线网络中，相较于 ResNet-50 的现状纯云方法，端到端延迟平均提升 53 倍，移动能耗平均提升 68 倍，而精度损失小于 2%。
引用
@article{arxiv.1902.00147,
title = {Towards Collaborative Intelligence Friendly Architectures for Deep Learning},
author = {Amir Erfan Eshratifar and Amirhossein Esmaili and Massoud Pedram},
journal= {arXiv preprint arXiv:1902.00147},
year = {2019}
}