FastDeepIoT：面向移动与嵌入式设备上神经网络执行时间理解与优化
机器学习
2018-09-20 v1 网络与互联网体系结构
性能
系统与控制
机器学习
摘要
深度神经网络作为许多感知应用问题的解决方案展现出巨大潜力，但其过高的资源需求拖慢了执行时间，对在低端设备上的部署造成严重阻碍。为应对这一挑战，近期文献聚焦于压缩神经网络规模以提升性能。我们表明，改变神经网络规模并不会按比例影响所关注的性能属性（如执行时间）。相反，在网络配置空间上存在极端的运行时非线性。因此，我们提出一种称为 FastDeepIoT 的新框架，其揭示了神经网络结构与执行时间之间的非线性关系，并利用该理解寻找在网络配置上显著改善移动与嵌入式设备上执行时间与准确率权衡的方案。FastDeepIoT 做出两项关键贡献。首先，FastDeepIoT 自动学习目标设备上深度神经网络的准确且高度可解释的 execution time 模型，无需硬件规格或所用深度学习库详细实现的先验知识。其次，FastDeepIoT 指导压缩算法如何在剖析设备上最小化执行时间而不影响准确率。我们使用两项移动设备（Nexus 5 与 Galaxy Nexus）上的三种不同感知相关任务评估 FastDeepIoT。与最先进的压缩算法相比，FastDeepIoT 进一步将神经网络执行时间降低 48% 至 78%，能耗降低 37% 至 69%。
引用
@article{arxiv.1809.06970,
title = {FastDeepIoT: Towards Understanding and Optimizing Neural Network Execution Time on Mobile and Embedded Devices},
author = {Shuochao Yao and Yiran Zhao and Huajie Shao and Shengzhong Liu and Dongxin Liu and Lu Su and Tarek Abdelzaher},
journal= {arXiv preprint arXiv:1809.06970},
year = {2018}
}
备注
Accepted by SenSys '18