DeepRebirth：加速深度神经网络在移动设备上的执行
计算机视觉与模式识别
2018-01-12 v2
摘要
在移动设备上部署深度神经网络是一项具有挑战性的任务。现有的模型压缩方法（如矩阵分解）能有效减小部署的模型大小，但仍无法满足实时处理的要求。本文首先发现，主要障碍是诸如池化和归一化等无张量型可训练参数的非张量层的执行时间过长。这促使我们设计了一个新颖的加速框架：DeepRebirth，通过“瘦身”现有的连续和并行非张量层与张量层来实现。层瘦身在不同子结构上执行：(a) 通过垂直合并连续的非张量层和张量层进行流线型瘦身；(b) 通过水平合并非张量层和张量层分支进行分支瘦身。所提出的优化操作显著加速了模型执行，并且由于瘦身后的模型架构包含更少的隐藏层，也大大降低了运行时内存开销。为了最大程度地避免精度损失，基于理论分析和经验验证，通过逐层微调来学习新生成层中的参数。实验表明，DeepRebirth 在 GoogLeNet 上实现了 3 倍以上的加速和 2.5 倍的运行时内存节省，而在 ImageNet 上的 top-5 准确率仅下降 0.4%。此外，通过与其他模型压缩技术结合，DeepRebirth 在 Samsung Galaxy S6 的 CPU 上实现了平均 65ms 的推理时间，top-5 准确率达 86.5%，比 top-5 准确率仅为 80.5% 的 SqueezeNet 快 14%。
引用
@article{arxiv.1708.04728,
title = {DeepRebirth: Accelerating Deep Neural Network Execution on Mobile Devices},
author = {Dawei Li and Xiaolong Wang and Deguang Kong},
journal= {arXiv preprint arXiv:1708.04728},
year = {2018}
}
备注
AAAI 2018