基于矩阵选主元的结构化深度神经网络剪枝
机器学习
2017-12-05 v1
摘要
深度神经网络(DNNs)是机器视觉、传感器融合以及音频/视频信号处理领域最先进成果的关键。遗憾的是,其计算复杂度以及边缘端严苛的资源约束,使得它们难以在移动、嵌入式和物联网设备上发挥作用。由于边缘设备种类繁多,DNN设计者必须在网络训练期间将硬件平台与应用需求纳入考量。在本工作中,我们引入基于矩阵选主元的剪枝方法,通过在架构无关剪枝的设计灵活性与架构感知剪枝的性能效率这两种获取资源高效DNN的主流技术之间进行折衷,来改进网络剪枝。我们还描述了用于高效实现所得剪枝网络的局部与全局网络优化技术。结合起来,所提出的剪枝与实现方法在剪枝过程中随网络系数减少而带来接近线性的加速。
引用
@article{arxiv.1712.01084,
title = {Structured Deep Neural Network Pruning via Matrix Pivoting},
author = {Ranko Sredojevic and Shaoyi Cheng and Lazar Supic and Rawan Naous and Vladimir Stojanovic},
journal= {arXiv preprint arXiv:1712.01084},
year = {2017}
}
备注
16 pages, 3 figures, 2 tables, 1 listing