面向智能边缘设备深度学习优化的融合催化剪枝
神经与进化计算
2020-12-01 v2 计算机视觉与模式识别
机器学习
性能
摘要
深度神经网络模型日益增长的计算成本限制了智能应用在资源受限边缘设备上的适用性。尽管已提出许多神经网络剪枝方法来压缩模型，但主流方法仅关注参数化算子（如卷积），可能错失优化机会。本文中，我们提出一种新颖的融合催化剪枝方法，称为 FuPruner，其同时优化参数化与非参数化算子以加速神经网络。我们引入一种激进的融合方法等效地变换模型，拓展了剪枝的优化空间，并使非参数化算子能以类似于参数化算子的方式被剪枝，并应用动态滤波器剪枝方法降低模型计算成本同时满足精度要求。此外，FuPruner 提供可配置的优化选项以控制融合与剪枝，允许做出更灵活的性能-精度权衡。在五个代表性智能边缘平台 Jetson TX2、Jetson Nano、Edge TPU、NCS 和 NCS2 上采用最先进残差神经网络对 CIFAR-10 和 ImageNet 数据集的评估，证明了我们方法的有效性，其可加速模型推理。
引用
@article{arxiv.2010.16165,
title = {Fusion-Catalyzed Pruning for Optimizing Deep Learning on Intelligent Edge Devices},
author = {Guangli Li and Xiu Ma and Xueying Wang and Lei Liu and Jingling Xue and Xiaobing Feng},
journal= {arXiv preprint arXiv:2010.16165},
year = {2020}
}
备注
Published in IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems (TCAD)